Merlin-9M
сверхкомпактная LLM на 8,85 млн параметров
2 min readupdated
Merlin-9M — это крошечная языковая модель типа decoder-only (8,85M параметров), обученная с нуля автором Monster-Code на англоязычном датасете Stew-10B. Модель умеет продолжать текст на английском языке, но её главная ценность — в экспериментальной архитектуре: она использует рекуррентные слои (повторное прохождение одних и тех же весов для увеличения глубины без роста размера) и обучалась с помощью Multi-token prediction (предсказания сразу нескольких токенов вперёд). В обучающую выборку намеренно не добавляли популярные бенчмарки вроде ARC или HellaSwag, чтобы исключить переобучение под тесты. Модель подойдёт исследователям, разработчикам и энтузиастам, которые изучают претрейн с нуля или запускают нейросети на очень слабом железе.
Ключевые особенности
- Рекуррентное ядро: из 12 уникальных слоёв слои с 3-го по 8-й применяются дважды, что даёт 18 эффективных слоёв без увеличения числа параметров.
- Современный стек архитектуры: используются RoPE, RMSNorm, QK-norm, активация SwiGLU и оптимизатор Muon для 2D-весов в связке с AdamW для эмбеддингов.
- Multi-token prediction (MTP-2): при обучении добавлялась вспомогательная голова для предсказания токена на две позиции вперёд, при этом на инференсе модель работает как стандартная causal LM.
- Честный датасет без бенчмарков: модель обучалась на смеси Wikipedia, Ultra-FineWeb и DCLM-baseline 1.0 без данных из ARC, HellaSwag, PIQA и WinoGrande.
Что можно сделать
- Изучить код самодостаточного модуля
merlin9m.pyиз репозитория, чтобы разобраться в реализации depth-recurrent слоёв и кастомного цикла генерации на PyTorch. - Использовать чекпоинт как лёгкую базу для экспериментов с дообучением, квантованием или запуском LLM в условиях жёстких ограничений по памяти.
Пример
from merlin9m import load_model, generate
model, cfg, tok, step = load_model("Monster-Code/Merlin-9M")
print(generate(model, cfg, tok, "The capital of France is"))Подробнее
Параметры: 8 854 146 (d_model 256, 12 уникальных / 18 эффективных слоёв, 8 голов, контекст 1024 токена).Токенизатор: GPT-2 BPE, используются только первые 8 192 самых частых токена английского языка (остальные при инференсе обрезаются до диапазона [0, 8191]).
Обучение: текущий чекпоинт снят на шаге 12 502 после прохождения ~811M токенов.
Ограничения: поддерживает только английский язык; метрики на бенчмарках в карточке не приведены.










Comments