Qwen3-8B gpnp

Это стандартный Qwen3-8B на 8,19 млрд параметров, дообученный через prestar RL за 1664 шага в генератор заметок («thought»). По префиксу документа модель с выключенным thinking пишет общий абзац о том, что будет дальше. Чекпоинт — лучший по валидации шаг запуска.

✨ Ключевые особенности

• 🦾 RL-задача: по префиксу документа написать заметку о продолжении, а не сразу ответ.
• 👁 Thinking выключен; ответ префиллится строкой The text, сохранённая заметка — The text плюс completion.
• 💥 Заметку оценивает замороженный rewarder — Qwen3-8B-Base после CPT на statML-arxiv iid с заметками.
• 📉 Валидация: −1.176485 против −1.177781 у базовой Qwen3-8B.
• ✅ Для генерации нужен шаблон prestar/general-paragraph-nothink-prefill.jinja, а не стоковый chat_template.jinja.
• 🤝 Веса в fp32; vLLM может обслуживать их в bf16.

✅ Пример

Сценарий из карточки: на вход подаётся префикс документа, thinking выключен. Модель продолжает The text и выдаёт заметку о содержании следующего фрагмента; затем заметку можно обернуть шаблоном prestar/kv-tags-thought.jinja для rewarder. Готового кода запуска в карточке нет.

Подробнее

Валидация: базовый Qwen3-8B — −1.177781, этот чекпоинт — −1.176485.
С ~1600 до 2464 шага метрика была плоской в пределах шума.
Обучение: RLOO, 8 сэмплов на промпт, 64 промпта на шаг, CISPO, lr 7e-7 без KL; 8×H200.
RL-данные — 256 документов, не встречавшихся rewarder при обучении.
Веса в fp32, vLLM может отдавать в bf16; состояние обучения в репозитории не сохранено.