NanoReason-7B-SFT
чекпоинт для рассуждений на базе OLMo 3 7B
2 мин чтения
NanoReason-7B-SFT — исследовательская языковая модель размером 7.3B параметров, обученная решать сложные логические и математические задачи с пошаговыми рассуждениями (reasoning traces). Она построена методом SFT (дообучение с учителем на готовых примерах рассуждений) поверх открытой модели OLMo 3 7B от Ai2 на датасете Dolci-Think-SFT-7B. По сравнению с исходной базой модель заметно прибавляет в математике и следовании инструкциям, выступая первой ступенью в линейке NanoReason. Чекпоинт пригодится исследователям и разработчикам, которые изучают этапы дообучения reasoning-моделей или ищут открытую базу под лицензией Apache 2.0 для дальнейшего RL-тюнинга.
Ключевые особенности
- Специализация на рассуждениях: обучена на пуле из 100 000 примеров Dolci-Think-SFT-7B с длиной контекста 16 384 токена при тренировке и оценкой на 32 768 токенах.
- Заметный рост метрик над базой: по сравнению с OLMo 3 7B результат в MATH-500 вырос с 63.00% до 88.40%, а в IFEval — с 34.57% до 63.77%.
- Чистота данных: автор провёл аудит обучающего пула и подтвердил отсутствие точных совпадений с промптами из оценочных бенчмарков.
- Открытость и воспроизводимость: модель распространяется под лицензией Apache 2.0 вместе с конфигами обучения и кодом в репозитории проекта.
Что можно сделать
- Использовать как базу для дообучения: взять чекпоинт за отправную точку для экспериментов с последующими этапами выравнивания и RLVR (обучение с подкреплением на проверяемых наградах).
- Решать математические и логические задачи: запускать локально через
transformersдля генерации пошаговых выкладок на английском языке. - Сравнивать этапы пост-тренинга: сопоставлять поведение модели с базовой OLMo 3 7B и следующими версиями линейки (SFT-Refined и Think).
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "kowanietz/NanoReason-7B-SFT"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", dtype="auto")
messages = [{"role": "user", "content": "How many hamsters would it take to power an A100?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=4096, use_cache=True)Подробнее
Бенчмарки (BF16, контекст 32k): MATH-500 — 88.40%, IFEval — 63.77%, BBH — 60.34%, GPQA Main — 32.37%, AIME 2024 — 30.21%, AIME 2025 — 26.35%.Обучение: 6 000 шагов (lr 1.5e-5) на 4× NVIDIA A100 40 GB (~92 GPU-часа).
Требования для запуска:
transformers>=5.19.0, torch, accelerate.Ограничения: при длинной генерации модель нередко исчерпывает лимит токенов до выдачи финального ответа (исправлено в следующих версиях линейки).










Комментарии