1pp-2.81b-v2-raw-search-rl-abstain-norefusal
поисковый агент, который умеет сказать «не знаю»
2 мин чтенияобновлено
Это исследовательский LLM на 2,81 млрд параметров, который отвечает на вопросы не по памяти, а через поиск по Wikipedia 2018 года. База — Raghav-Singhal/1pp-2.81b-v2-raw-sft (condition raw, seed 28): модель сначала дообучили на поисковых диалогах, а затем тренировали с GRPO (RL-метод с групповыми сравнениями ответов). На каждый вопрос она может сделать до 5 поисковых запросов, получить top-3 пассажа по BM25 и либо дать ответ в теге <answer>, либо не ставить тег, если ответа не нашла. Главное отличие от warm start — заметно более высокая точность среди ответов и обученное поведение «не знаю». Пригодится тем, кто делает RAG- и search-агентов и хочет проверить abstention (отказ от ответа при нехватке данных).
Ключевые особенности
- Вызывает инструмент search с JSON-запросом; результаты приходят как <tool_response> с top-3 пассажами и остатком поисков.
- Ответ — свободный текст ровно в одном <answer>...</answer>, а при неудаче — ответ без тега.
- Обучена abstention: на 2 % вопросов правильные пассажи скрыты, поэтому «не знаю» — верная стратегия.
- RL в verl: 860 шагов по 256 вопросов × 8 rollouts на 16 GPU, reward штрафует лишние поиски и ответы без поиска.
- В chat replay нет отказов; это research-checkpoint, не tuned под safety сверх базового SFT.
Что можно сделать
- Собрать прототип поискового ассистента по Wikipedia с BM25 и честным «не знаю».
- Прогнать RAG-агента на HotpotQA, NQ, 2WikiMultihopQA и MuSiQue — эти датасеты есть в обучении.
- Исследовать, как reward и штрафы за поиск влияют на abstention и точность ответов.
- Сравнить с warm start по pass@1 и доле ответов.
Пример
Пользователь пишет только вопрос. Модель может вызвать поиск:
{"name": "search", "arguments": {"query": "..."}}
После ответа инструмента она возвращает <answer>краткий ответ</answer> или отвечает без тега, если не нашла подтверждения. До 5 поисков, весь диалог — не больше 4 096 токенов.
Подробнее
Dev, 768 вопросов, 8 попыток при temperature 1: pass@1 — 28,5 % против 10,4 % у warm start; точность среди ответов — 62,1 % против 16,7 %; доля отвеченных — 57,9 % против 83,3 %.Ограничения: фразы «не знаю» шаблонные, reasoning иногда ссылается на факты, которых нет в пассажах; safety не дообучалась.
Контекст: BM25-индекс Wikipedia 2018, до 5 поисков, лимит 4 096 токенов.










Комментарии