MiniGrimm
сверхкомпактная LLM на 48M параметров с глубокой архитектурой
2 мин чтенияобновлено
MiniGrimm — экспериментальная языковая модель размером всего 48.29M параметров (42.00M без учёта эмбеддингов), обученная с нуля автором Bayhakl1. Вместо стандартной широкой схемы здесь используется «высокая и узкая» архитектура в стиле Llama на 28 слоёв с оптимизатором Muon. Несмотря на скромный объём и окно контекста в 512 токенов, модель прошла дообучение SFT (Supervised Fine-Tuning — обучение с учителем на диалогах и задачах) и умеет вести короткие беседы на английском и пошагово решать базовую арифметику. Пригодится разработчикам и исследователям для экспериментов с ультралёгкими архитектурами и локального запуска на слабом железе.
Ключевые особенности
- Глубокая и узкая компоновка: 28 слоёв при скрытой размерности
d_model = 384, с механизмами GQA (Grouped-Query Attention), QK-Norm, RoPE и SwiGLU. - Обучение с нуля на Muon: претрейн на ~12.55B токенов (FineWeb-Edu, Cosmopedia-v2, Wikipedia, математика и диалоги) с комбинацией оптимизаторов Muon и AdamW.
- Кастомный токенизатор: словарь Byte-Level BPE на 16 384 токена с посимвольным разбиением чисел для более точных вычислений.
- SFT-дообучение: модель дообучена на датасетах GSM8K, SmolTalk, UltraChat-200k, Tülu-3 и No Robots с маскированием лосса только по ответам ассистента.
Что можно сделать
- Запустить локально на CPU: благодаря весу менее 50M параметров модель без труда работает даже без видеокарты для быстрых тестов диалоговых пайплайнов.
- Протестировать пошаговую арифметику: использовать в режиме жадной генерации (
do_sample=False) для проверки логики решения простых текстовых задач. - Изучить поведение deep-and-thin сетей: взять за основу или референс при исследовании нестандартных пропорций слоёв и оптимизатора Muon в библиотеке
transformers.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "Bayhakl1/MiniGrimm"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)
prompt = "<|user|>If I have 3 apples and buy 5 more, then eat 2, how many apples do I have?<|end|><|assistant|>"
inputs = tokenizer(prompt, return_tensors="pt")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=150)[0], skip_special_tokens=True))
Подробнее
Бенчмарки: ArithMark 3.0 — 38.1% (Raw) / 38.2% (Norm), SciQ — 70.7%, PIQA — 61.7%, Winogrande — 52.4%, ARC-Easy — 48.6%, HellaSwag — 29.1%.Параметры: 48.29M всего (~42.00M non-embedding), контекст строго до 512 токенов.
Ограничения: поддерживает только английский язык, склонна к галлюцинациям в фактах и требует флага
trust_remote_code=True при загрузке.









Комментарии