Gemma 4 E2B-it RLCR
ответ с оценкой уверенности
2 min readupdated
Это текстовый файнтюн Google DeepMind Gemma 4 E2B-it (5,51 млрд параметров), дообученный на HotpotQA — вопросах по нескольким статьям Wikipedia. Модель не просто отвечает, а выдаёт ответ вместе с вербализованной уверенностью в тегах <answer> и <confidence>. По этим оценкам можно ранжировать ответы и выбирать порог, чтобы система отказывалась отвечать на слишком рискованные вопросы или передавала их человеку. Обучение построено на RLCR (обучение с наградами) и CARE (награда на наборе вопросов): уверенность вознаграждается относительно других вопросов, а не только по бинарной правильности ответа. Это не официальный чекпоинт авторов RLCR, а тренировка от hector-gr; пригодится для QA-ботов и исследований selective prediction.
Ключевые особенности
- Выдаёт
<answer>…</answer>и<confidence>…</confidence>; ответы можно сортировать по уверенности. - Обучен на HotpotQA — multi-hop QA по Wikipedia; в карточке есть метрики selective prediction для ID и OOD.
- CARE считает награду на наборе вопросов: уверенность сравнивается с порогом, который зависит от допустимого риска.
- Требует Gemma 4-capable runtime; нужны точный system prompt, сохранённый chat template и все EOS ID из
generation_config.json. - Только текст: vision и audio энкодеры заморожены, мультимодальный режим не оценивался.
Что можно сделать
- Собрать QA-бота, который показывает ответ только выше выбранного порога уверенности, а остальное отправляет на проверку.
- Оценивать selective prediction на своих данных: coverage при риске 0/1/5/10% и AURC.
- Сравнивать seed 43 с seed 44 и другими методами оценки уверенности в исследовательском пайплайне.
Пример
Промпт: «Ответь на вопрос по HotpotQA и укажи уверенность». Ожидаемый формат вывода:
<answer>…</answer><confidence>0.XX</confidence>
Подробнее
ID: Acc 85.2%, C@10 90.0%, AURC 6.7; OOD: Acc 55.2%, C@5 9.1%, AURC 36.5. C@r — coverage при риске r; AURC — меньше лучше.Нужен Gemma 4-capable runtime; VRAM в карточке не указан. Confidence не гарантирует правильность, порог стоит выбирать на held-out данных.
Обучение: per-device batch 4, gradient accumulation 128, maximum completion length 1536.










Comments