1⃣ AdamW, Muon and OKLS (163M)
чекпоинты исследования о «забывании» при дообучении
2 min readupdated
Автор OhhMoo выложил набор из 63 исследовательских чекпоинтов компактного трансформера (162,8M активных параметров без учёта эмбеддингов, 240,1M всего) для проверки гипотезы: зависит ли выбор лучшего оптимизатора для дообучения от того, каким оптимизатором модель учили с нуля. В эксперименте проверили сетку 3×3 из алгоритмов AdamW, Muon и OKLS (Online KL Shampoo) на этапах претрейна и пост-трейна (чат-SFT и математика). Выяснилось, что при дообучении через AdamW модель после Muon забывает базовые знания примерно вдвое сильнее, а лучшую итоговую точность на обеих задачах даёт связка OKLS на претрейне + Muon на пост-трейне. Релиз пригодится ML-исследователям и инженерам, изучающим динамику обучения и катастрофическое забывание LLM.
Ключевые особенности
- Полная сетка 3×3: в репозитории лежат 9 базовых моделей (по 3 сида на каждый оптимизатор, обученных на 3,3B токенов FineWeb) и 54 дообученных чекпоинта на чат-данных (tulu-3) и математике (OpenWebMath).
- Эффект совместимости оптимизаторов: модели после AdamW меньше всего «забывают» при дообучении тем же AdamW, а модели после Muon и OKLS лучше сохраняют базу при пост-трейне через Muon.
- Прозрачная аналитика: к весам приложены
index.csvс гиперпараметрами, лоссами и хешами каждого чекпоинта, а также сводка результатов эксперимента вresults/cells.json. - Совместимость с GPT-2 токенизатором: модель использует архитектуру decoder-only с GQA (групповым вниманием), RoPE, SwiGLU и стандартный словарь tiktoken
gpt2(дополненный до 50 304 токенов).
Что можно сделать
- Сравнить траектории весов и спектр матриц после AdamW, Muon и OKLS на идентичной архитектуре и сидах без затрат на собственный претрейн.
- Протестировать собственные методы борьбы с катастрофическим забыванием (catastrophic forgetting) при SFT на готовых базовых чекпоинтах в формате float32.
- Использовать
modeling.pyкак эталонную компактную реализацию трансформера, побитово совпадающую со скриптами обучения.
Пример
import tiktoken, torch
from modeling import load, chat_prompt
repo = "OhhMoo/adamw-muon-okls-pretrain-posttrain-163m"
enc = tiktoken.get_encoding("gpt2")
model, cfg = load("post/sft/okls-s0-to-muon/rung-1", repo_id=repo)
ids = torch.tensor([chat_prompt([{"role": "user", "content": "Give me three tips for studying."}])])
print(enc.decode(model.generate(ids, 120, temperature=0.7, top_k=50)[0, ids.size(1):].tolist()))
Подробнее
Лучший итоговый validation loss на задачах: связка OKLS → Muon показала 1.354 на чат-SFT и 2.882 на математике.На претрейне (FineWeb) средний validation loss по 3 сидам составил: OKLS — 3.180, Muon — 3.220, AdamW — 3.235.
Ограничения: это компактные исследовательские модели без safety-тюнинга (пост-трейн всего 26M токенов), не предназначенные для продакшн-ассистентов.
Общий объём всех файлов репозитория — 34,5 ГБ (8,6 ГБ претрейн в float32 и 25,9 ГБ пост-трейн в bfloat16), лицензия Apache-2.0.










Comments