1pp-2.81b-v2-raw-search-rl

Исследовательский чекпоинт jkminder на базе 1pp-2.81b-v2-raw-sft (2.81B). Модель прошла SFT на поисковых диалогах, затем GRPO-обучение: отвечает на вопросы, вызывая поиск по BM25-индексу Wikipedia 2018 года. Финальный чекпоинт — шаг 660.

👀 Ключевые особенности

• 👀 На первый вопрос пользователя модель либо вызывает инструмент search, либо сразу отвечает.
• 🕸 Поиск возвращает top-3 пассажа: заголовок и первые 100 слов из корпуса Search-R1 Wikipedia 2018.
• ✅ Ответ должен быть в одном теге <answer>...</answer>; на вопрос — до 5 поисков.
• 💻 Контекст до 4,096 токенов; чат-шаблон базовой модели <|im_start|> / <|im_end|>.
• 🔥 GRPO в verl: 660 шагов, 256 вопросов × 8 роллаутов, 16 GPU; reward штрафует лишние поиски и ошибки формата.

💻 Пример

{"name": "search", "arguments": {"query": "..."}}

Результаты приходят как <tool_response> с top-3 пассажами; ответ — свободный текст с тегом <answer>...</answer>.

Подробнее

HotpotQA dev (greedy): 61.9% correct против 38.7% у warm start.
NQ dev: 38.2% против 21.3%; по ходам пользователя в dev-диалогах — 33.3% против 16.3%.
Ограничения: иногда добавляет неподтверждённые детали после ответа и повторно ищет для подтверждения.
Это research checkpoint, safety не настраивалась сверх SFT базовой модели.