NanoReasoner-300M

NanoReasoner-300M — reasoning/code LLM на 352 321 602 параметра, обученная с нуля в три этапа: 25 млрд токенов предобучения, SFT на цепочках <think>...</think> и GRPO с верификаторами математики и Python-тестов. Архитектура: GQA, FlexAttention, U-Net-скипы, x0-миксины, кастомный SuperBPE-токенизатор на 49 152 токена и контекст 2048.

✨ Ключевые особенности

• 💻 GQA 16 query / 4 KV heads, QK-norm и окна внимания 256/2048 токенов.
• 🔮 U-Net-скипы между 12 encoder- и 12 decoder-слоями, x0 residual mixin и Value Embeddings.
• 📚 Обучение на FineWeb-Edu, Cosmopedia v2, FineMath 4+ и CodeParrot Clean.
• ✨ SFT на Bespoke-Stratos-17k, OpenMathInstruct-2 и OpenCodeInstruct, затем GRPO на GSM8K и MBPP.
• 📌 Свой токенизатор: 49 152 токена, спецтокены для <think> и отдельных цифр.
• 💻 Полный пайплайн: скрипты pretrain/SFT/GRPO, Modal-пайплайн данных и Colab для RTX PRO 6000.

💻 Пример

modal run modal_smoke_test.py
python train_pretrain.py --data-dir ./data --ckpt-dir ./checkpoints --batch-size 32 --grad-accum 2 --seq-len 2048 --max-steps 35000

Подробнее

Бенчмарков в карточке нет: заявлены 25 млрд токенов предобучения и 352,3 млн параметров.
Контекст — 2048 токенов; требования к VRAM не указаны.
GRPO использует GSM8K и MBPP с жёсткой проверкой ответов и Python-тестов.
Ограничение: модель обучена с нуля и не приводит сравнений с другими LLM.