124M-модель для пошагового решения логических головоломок
schedule 2 мин чтенияобновлено
Компактная языковая модель (LLM) на 124 млн параметров, обученная рассуждать по шагам и решать две комбинаторные логические задачи с ограничениями (constraint puzzles). Модель создана автором AZH04 в рамках эксперимента по сравнению поэтапного (SFT, затем RL) и единого обучения для статьи Training Foundation Models with a Single Algorithm (arXiv 2610.40564). В основе лежит предобученный чекпоинт controlled/pretrain-only из sfanm/unified-training с архитектурой LlamaForCausalLM (контекст 2 048 токенов, токенизатор GPT-2). Репозиторий пригодится исследователям обучения с подкреплением (RL) и тем, кто изучает, как маленькие модели осваивают дедуктивные рассуждения.
Ключевые особенности
Двухэтапное обучение: сначала SFT (обучение с учителем на готовых цепочках рассуждений — 1,832 млн примеров), затем 8 000 шагов MaxRL (обучение с подкреплением) без примеси статических трасс и веб-текстов.
Три чекпоинта в одном репозитории: стартовая SFT-версия staged/sft_init (bf16, 247 МБ) и два независимых прогона RL с разными сидами — seed1234 и seed4321 (fp32, 494 МБ каждый).
Резкий рост точности после RL: на задаче assignment L5 показатель pass@1 вырос с 2,6% на этапе SFT до 88,0% (seed 1234) и 88,9% (seed 4321).
Прозрачность эксперимента: приложены конфиги RL-обучения (rl_staged_seed*.env) и манифесты данных с хешами sha256 без пересечения обучающей и тестовой выборок.
Что можно сделать
Исследовать динамику RL на малых моделях: сравнить поведение модели до и после обучения с подкреплением (sft_init против update_08000) на задачах разной сложности — от уровня L4 до более сложного L6.
Проверить устойчивость к случайному сиду: сопоставить траектории рассуждений чекпоинтов seed1234 и seed4321, обученных на одинаковом порядке промптов.
Запустить локальные тесты через vLLM или Transformers: благодаря размеру 124M модель легко помещается даже в небольшой объём VRAM и быстро генерирует пошаговые выводы в формате \boxed{...}.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo, sub = "AZH04/unified-training-multitask-staged-124m", "staged/seed1234/update_08000"
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=sub)
tok = AutoTokenizer.from_pretrained(repo, subfolder=sub)
ПодробнееБенчмарки (pass@1 / pass@64): tower Base — 29,2% / 91,3% (seed 4321) против 1,7% / 21,9% (SFT); assignment L5 — 88,9% / 100,0% против 2,6% / 41,8%. Формат промпта: строго сырой текст без системного промпта и чат-шаблона — \n\nAnswer: (с пробелом в конце). Железо и обучение: SFT заняло 3,5 часа на 1 GPU (1,0 млрд токенов), каждый RL-прогон выполнялся на 2 × NVIDIA RTX PRO 6000 Blackwell (7–10 сек на апдейт). Ограничения: модель обучена только на двух типах логических головоломок (nl_tower и nl_assignment) на английском языке, ответ обрывается как неверный при превышении 1 280 токенов.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# AZH04/unified-training-multitask-staged-124m — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve AZH04/unified-training-multitask-staged-124m --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии