Qwen3.5-9B Equational Theory
обучение на заметках без эталона
2 мин чтенияобновлено
Полноценный файнтюн модели Qwen3.5-9B (9.65 млрд параметров) от проекта U-WIN, созданный в рамках эксперимента по усвоению теории эквациональных тождеств. Модель дообучали на 105,6 млн токенов: базовых учебных заметках и синтетических разборах, которые сама Qwen3.5-9B написала после анализа собственных попыток решения задач без доступа к правильным ответам. Дообучались только текстовые слои (427 тензоров), а визуальный модуль остался нетронутым от оригинальной Qwen3.5-9B. Чекпоинт пригодится исследователям, изучающим самообучение языковых моделей и интернализацию математических знаний.
Ключевые особенности
- Обучена на 100 млн токенов исходных учебных заметок (167 705 текстов) и 5,6 млн токенов rollout-заметок, сгенерированных без эталонных решений.
- Для предотвращения деградации применён KL-штраф (0.01 x KL) относительно базовой модели на замороженном пуле траекторий.
- Визуальные компоненты (348 тензоров) не изменялись, обновлялась только текстовая часть архитектуры
AutoModelForImageTextToText. - В репозитории доступны два релиза: промежуточный после первой эпохи (
epoch-1) и финальный после второй (main/epoch-2).
Что можно сделать
- Исследовать влияние обучения на «шумных» самосгенерированных заметках (около 8% из них содержат неверный итоговый вердикт).
- Сравнить качество рассуждений в задачах теории тождеств между базовой
Qwen/Qwen3.5-9B, первой и второй эпохами обучения. - Использовать весовые коэффициенты в связке с
transformersдля локальных экспериментов по дообучению VLM/LLM.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "U-WIN/qwen35-9b-equational-theory-sair-notes100m-noref-rollout-notes-ntp-kl-0p01"
processor = AutoProcessor.from_pretrained(model_id, revision="main")
model = AutoModelForImageTextToText.from_pretrained(model_id, revision="main", dtype="auto", device_map="auto")Подробнее
Обучение: 2 эпохи (1554 шага) на 8x GH200 за 150 минут, learning rate 5e-06, длина последовательности 17 408 токенов.Валидация: held-out loss на учебных заметках снизился с 1.245 (база) до 0.277; на траекториях базы — с 0.145 до 0.126.
Ограничения: модель не тестировалась ни на одном публичном бенчмарке, мультимодальное качество не проверялось.










Комментарии