Tülu DPO 1.7B (Muon, tied LR)
эксперимент по выравниванию LLM
2 мин чтенияобновлено
Компактная языковая модель на 1.7B параметров (архитектура Qwen3ForCausalLM), прошедшая DPO-обучение (Direct Preference Optimization — настройка модели под предпочтения человека без отдельной reward-модели). Автор Madhuuu373 выпустил её как контрольную точку в исследовании, сравнивающем оптимизаторы Muon и AdamW при одинаковом шаге обучения (2e-6). На практике модель демонстрирует, что оба оптимизатора дают сопоставимое качество на выходе, но Muon позволяет заметно сэкономить видеопамять при обучении. Подойдёт исследователям, изучающим динамику DPO и оптимизацию обучения небольших LLM.
Ключевые особенности
- Экономия памяти при обучении: оптимизатор Muon (применён к 93.2% весов) требует примерно на 17 GiB меньше VRAM по сравнению с AdamW при сопоставимом итоговом качестве.
- Чистое сравнение: единый learning rate 2e-6 для всех групп параметров позволяет изолированно оценить влияние направления обновления весов относительно базового прогона на AdamW.
- Два формата весов в репозитории: папка
hf/со стандартными safetensors для инференса иdcp/с распределёнными шардами и состоянием оптимизатора для возобновления обучения. - Шаблон диалога
tulu-plain-v1: использует текстовые маркеры ролей (<|system|>,<|user|>,<|assistant|>) и корректно работает черезapply_chat_template.
Что можно сделать
- Провести собственные замеры качества генерации, следования инструкциям и безопасности, так как автор намеренно опубликовал только метрики валидации DPO.
- Дообучить или продолжить прерванный эксперимент с использованием полного состояния оптимизатора из директории
dcp/(4 ранк-шарда). - Запустить локальный инференс в
bfloat16черезtransformersдля сравнения ответов с версиями на AdamW и untied Muon.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Madhuuu373/tulu-dpo-1b-muon-tied-2e-6"
m = AutoModelForCausalLM.from_pretrained(model_id, subfolder="hf", torch_dtype="bfloat16")
t = AutoTokenizer.from_pretrained(model_id, subfolder="hf")
Подробнее
Валидация DPO: val loss 0.619916, точность (acc) 0.6994, margin 0.3360 (против val loss 0.619577 и acc 0.6932 у AdamW).Обучение: 1 эпоха (9 517 шагов, 32 пары на шаг, β = 5) на 4×H200 со скоростью 74.7k tok/s от SFT-чекпоинта blumodel_step_11590.
Ограничения: общие бенчмарки и устойчивость к джейлбрейкам не замерялись; клиппинг градиентов в ShardedMuon асимметричен и не применялся к 93% параметров.










Комментарии