Qwen3-8B gpnp
RL-генератор заметок к тексту
2 min readupdated
Это стандартный Qwen3-8B на 8,19 млрд параметров, дообученный через prestar RL за 1664 шага в генератор заметок («thought»). По префиксу документа модель с выключенным thinking пишет общий абзац о том, что будет дальше. Чекпоинт — лучший по валидации шаг запуска.
Ключевые особенности
- RL-задача: по префиксу документа написать заметку о продолжении, а не сразу ответ.
- Thinking выключен; ответ префиллится строкой
The text, сохранённая заметка —The textплюс completion. - Заметку оценивает замороженный rewarder — Qwen3-8B-Base после CPT на statML-arxiv iid с заметками.
- Валидация:
−1.176485против−1.177781у базовой Qwen3-8B. - Для генерации нужен шаблон
prestar/general-paragraph-nothink-prefill.jinja, а не стоковыйchat_template.jinja. - Веса в fp32; vLLM может обслуживать их в bf16.
Пример
Сценарий из карточки: на вход подаётся префикс документа, thinking выключен. Модель продолжает The text и выдаёт заметку о содержании следующего фрагмента; затем заметку можно обернуть шаблоном prestar/kv-tags-thought.jinja для rewarder. Готового кода запуска в карточке нет.
Подробнее
Валидация: базовый Qwen3-8B —−1.177781, этот чекпоинт — −1.176485.С ~1600 до 2464 шага метрика была плоской в пределах шума.
Обучение: RLOO, 8 сэмплов на промпт, 64 промпта на шаг, CISPO, lr
7e-7 без KL; 8×H200.RL-данные — 256 документов, не встречавшихся rewarder при обучении.
Веса в fp32, vLLM может отдавать в bf16; состояние обучения в репозитории не сохранено.










Comments