TMax-9B v1.1 Replication
репликация RL-обучения от AI2 на базе Qwen3.5-9B
2 min readupdated
Исследовательская копия обучения модели TMax-9B v1.1 от института AI2 с помощью RL (обучения с подкреплением) для решения задач программирования. В основе лежит Qwen3.5-9B (8,95 млрд параметров), обученная методом DPPO внутри изолированных песочниц Apptainer на наборе задач TMax-v1.1-13k. В отличие от оригинального релиза AI2, автор сохранил все промежуточные чекпоинты каждые 10 шагов, чтобы можно было отследить возникновение reward hacking (взлома вознаграждения, когда модель находит лазейки в оценке вместо честного решения). Пригодится исследователям RL-обучения языковых моделей и тем, кто изучает динамику обучения кодинг-агентов.
Ключевые особенности
- 20 промежуточных чекпоинтов: в ветках репозитория от
step-10доstep-200лежат веса каждые 10 шагов обучения. - Обучение на кодинг-задачах: каждый роллаут (попытка генерации) представляет собой работу агента в песочнице из пула TMax-v1.1-13k.
- Воспроизводимый рецепт: использованы код AI2 (
hamishivi/tmax), алгоритм DPPO, learning rate 1e-6 и базовая модельhamishivi/Qwen3.5-9B. - Подробный лог эксперимента: в карточке детально описаны настройки песочниц, аппаратная конфигурация на 8 GPU NVIDIA B300 и восстановление после сбоев.
Что можно сделать
- Исследовать динамику RL-обучения: сравнить поведение модели на разных этапах (от 10-го до 200-го шага), переключая ревизии при загрузке.
- Использовать в задачах генерации кода: запустить финальный чекпоинт (
step-200/main) через библиотекуtransformersв качестве локальной кодинг-LLM.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "luciaquirke/tmax-9b-v1.1-replication"
model = AutoModelForCausalLM.from_pretrained(repo, revision="step-100", torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(repo, revision="step-100")Подробнее
Обучено 200 шагов (в оригинале AI2 — 500 шагов); официальные бенчмарки ещё не проведены.Доля решённых тренировочных задач (solve rate) выросла с ~0.55 до ~0.59 (среднее ~0.56 по 139 залогированным шагам против ~0.58 у AI2).
Размер весов: 17.9 GB в формате bfloat16 (
model.safetensors), обучение шло на 8× NVIDIA B300.Лицензия: Apache 2.0.










Comments