SmolLM-135M-neuraltxt-grpo-v1

Это LoRA-адаптер от JaydeepR, обученный с GRPO, чтобы 135M-модель сначала рассуждала внутри блока <think>, а затем отвечала в запрошенном формате. Работает только поверх базовой paperbd/neuraltxt-v1-135M-reasoning-base-v2; это RL-этап серии экспериментов CPT → SFT → DPO → RL на SmolLM-135M. Данные — paper_instructions_300K-v1, инструкции по фрагментам ML-статей.

📌 Ключевые особенности

• 📌 LoRA rank 32 / alpha 64, все attention и MLP projections.
• 📚 Обучение на paper_instructions_300K-v1 — инструкциях по фрагментам ML-статей.
• ✅ Формат ответа: 99.2% на 256 held-out промптах против 89.8% на cycle 5 и 95.7% у DPO.
• ⏰ Чекпойнт cycle 1,495 из ~1,500 — лучший eval reward.
• 💻 GRPO с dr_grpo loss, 4 rollout на промпт, 1× H100, 24 часа.

💻 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "paperbd/neuraltxt-v1-135M-reasoning-base-v2"
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained(base),
    "JaydeepR/SmolLM-135M-neuraltxt-grpo-v1",
)

Подробнее

Формат вырос, но качество ответов почти не изменилось: F1 0.436 → 0.445, медианная длина 49 → 33 слова.
Слепой LLM-судья выбрал этот чекпойнт вместо cycle 5 в 54.3% (±6.1) — статистически незначимо; с DPO напрямую не сравнивали.
Ограничения: 135M capacity-limited, reasoning шаблонный и не всегда совпадает с ответом, иногда заканчиваются токены до ответа.
Обучение: 50K промптов, контекст 2048, KL weight 0.02, learning rate 5e-6.