1pp-2.81b-v2-raw-search-rl
LLM-агент ищет ответы в Wikipedia
1 min readupdated
Исследовательский чекпоинт jkminder на базе 1pp-2.81b-v2-raw-sft (2.81B). Модель прошла SFT на поисковых диалогах, затем GRPO-обучение: отвечает на вопросы, вызывая поиск по BM25-индексу Wikipedia 2018 года. Финальный чекпоинт — шаг 660.
Ключевые особенности
- На первый вопрос пользователя модель либо вызывает инструмент search, либо сразу отвечает.
- Поиск возвращает top-3 пассажа: заголовок и первые 100 слов из корпуса Search-R1 Wikipedia 2018.
- Ответ должен быть в одном теге <answer>...</answer>; на вопрос — до 5 поисков.
- Контекст до 4,096 токенов; чат-шаблон базовой модели <|im_start|> / <|im_end|>.
- GRPO в verl: 660 шагов, 256 вопросов × 8 роллаутов, 16 GPU; reward штрафует лишние поиски и ошибки формата.
Пример
{"name": "search", "arguments": {"query": "..."}}
Результаты приходят как <tool_response> с top-3 пассажами; ответ — свободный текст с тегом <answer>...</answer>.
Подробнее
HotpotQA dev (greedy): 61.9% correct против 38.7% у warm start.NQ dev: 38.2% против 21.3%; по ходам пользователя в dev-диалогах — 33.3% против 16.3%.
Ограничения: иногда добавляет неподтверждённые детали после ответа и повторно ищет для подтверждения.
Это research checkpoint, safety не настраивалась сверх SFT базовой модели.










Comments