1pp-2.81b-v2-asst-search-rl-abstain-norefusal
поисковый агент, который умеет говорить «не знаю»
2 min readupdated
Компактная языковая модель на 2.81 млрд параметров от jkminder, обученная искать ответы по индексу Википедии 2018 года и воздерживаться от ответа, если фактов не хватает. В основе лежит база Raghav-Singhal/1pp-2.81b-v2-asst-sft, дообученная сначала на диалогах с поиском (warm start), а затем методом GRPO (алгоритм обучения с подкреплением без отдельной модели-критика) с использованием чат-реплея без отказов. В отличие от обычных LLM, которые склонны додумывать факты при нехватке данных, этот чекпоинт приучен проверять информацию через инструмент поиска и признавать отсутствие ответа. Подойдёт исследователям, изучающим борьбу с галлюцинациями, поведение моделей при воздержании от ответа и обучение поисковых агентов.
Ключевые особенности
- Пошаговый поиск с лимитом: за один пользовательский запрос модель может сделать до 5 поисковых вызовов по BM25-индексу Википедии 2018 года, получая топ-3 фрагмента по 100 слов.
- Честное воздержание от ответа: в 2% обучающих примеров нужные фрагменты скрывали из выдачи, поэтому модель научилась отвечать в духе «не удалось найти ответ», если данных нет.
- Чат-реплей без отказов: при RL-обучении в каждый шаг подмешивали обычные диалоги из пула без отказов ассистента (без WildJailbreak, WildGuardMix и отказных веток WildChat), чтобы сохранить разговорные навыки.
- Чёткий формат разметки: вызовы поиска оформляются через тег
, а итоговый ответ оборачивается в...(или выдаётся без тега, если ответ не найден).
Что можно сделать
- Изучить механику абстенции (отказа от выдумывания): сравнить поведение чекпоинтов с отказным и безотказным чат-реплеем в рамках серии One Persona Pretraining (1PP).
- Запустить в локальном пайплайне RAG / поискового агента: подключить к BM25-индексу корпуса Search-R1 2018 Wikipedia в рамках контекста до 4096 токенов.
- Использовать как бейзлайн для RL-экспериментов: оценить эффективность связки оптимизатора Muon и GRPO в фреймворке
verlна многошаговых вопросах (HotpotQA, MuSiQue, 2WikiMultihopQA).
Пример
Формат вызова инструмента поиска и возврата ответа в диалоге (шаблон чата базовой модели <|im_start|> / <|im_end|>):
{"name": "search", "arguments": {"query": "..."}}
Найденный ответ
Подробнее
Метрики на dev-выборке (768 вопросов, 8 попыток при temperature 1): точность с первой попытки (pass@1) выросла с 8.0% у warm start до 31.2%, pass@8 — с 25.0% до 42.4%, а доля верных ответов среди тех, на которые модель решилась ответить — с 15.1% до 69.6% (отвечает на 54.5% вопросов против 75.2%).Обучение: 860 шагов GRPO в verl на 4 нодах (16 GPU), 4.7% от вычислительного бюджета претрейна; контекст ограничен 4096 токенами.
Ограничения: исследовательский чекпоинт без дополнительного тюнинга безопасности; фразы «не знаю» шаблонные («None of these passages mention ...»), а в рассуждениях иногда всё же проскакивают факты не из выдачи.










Comments