unified-training-multitask-staged-124m
124M-модель для пошагового решения логических головоломок
2 min readupdated
Компактная языковая модель (LLM) на 124 млн параметров, обученная рассуждать по шагам и решать две комбинаторные логические задачи с ограничениями (constraint puzzles). Модель создана автором AZH04 в рамках эксперимента по сравнению поэтапного (SFT, затем RL) и единого обучения для статьи Training Foundation Models with a Single Algorithm (arXiv 2610.40564). В основе лежит предобученный чекпоинт controlled/pretrain-only из sfanm/unified-training с архитектурой LlamaForCausalLM (контекст 2 048 токенов, токенизатор GPT-2). Репозиторий пригодится исследователям обучения с подкреплением (RL) и тем, кто изучает, как маленькие модели осваивают дедуктивные рассуждения.
Ключевые особенности
- Двухэтапное обучение: сначала SFT (обучение с учителем на готовых цепочках рассуждений — 1,832 млн примеров), затем 8 000 шагов MaxRL (обучение с подкреплением) без примеси статических трасс и веб-текстов.
- Три чекпоинта в одном репозитории: стартовая SFT-версия
staged/sft_init(bf16, 247 МБ) и два независимых прогона RL с разными сидами —seed1234иseed4321(fp32, 494 МБ каждый). - Резкий рост точности после RL: на задаче
assignment L5показатель pass@1 вырос с 2,6% на этапе SFT до 88,0% (seed 1234) и 88,9% (seed 4321). - Прозрачность эксперимента: приложены конфиги RL-обучения (
rl_staged_seed*.env) и манифесты данных с хешами sha256 без пересечения обучающей и тестовой выборок.
Что можно сделать
- Исследовать динамику RL на малых моделях: сравнить поведение модели до и после обучения с подкреплением (
sft_initпротивupdate_08000) на задачах разной сложности — от уровня L4 до более сложного L6. - Проверить устойчивость к случайному сиду: сопоставить траектории рассуждений чекпоинтов
seed1234иseed4321, обученных на одинаковом порядке промптов. - Запустить локальные тесты через vLLM или Transformers: благодаря размеру 124M модель легко помещается даже в небольшой объём VRAM и быстро генерирует пошаговые выводы в формате
\boxed{...}.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo, sub = "AZH04/unified-training-multitask-staged-124m", "staged/seed1234/update_08000"
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=sub)
tok = AutoTokenizer.from_pretrained(repo, subfolder=sub)Подробнее
Бенчмарки (pass@1 / pass@64):tower Base — 29,2% / 91,3% (seed 4321) против 1,7% / 21,9% (SFT); assignment L5 — 88,9% / 100,0% против 2,6% / 41,8%.Формат промпта: строго сырой текст без системного промпта и чат-шаблона —
\n\nAnswer: (с пробелом в конце).Железо и обучение: SFT заняло 3,5 часа на 1 GPU (1,0 млрд токенов), каждый RL-прогон выполнялся на 2 × NVIDIA RTX PRO 6000 Blackwell (7–10 сек на апдейт).
Ограничения: модель обучена только на двух типах логических головоломок (
nl_tower и nl_assignment) на английском языке, ответ обрывается как неверный при превышении 1 280 токенов.









Comments