Lemma-2.2M

Lemma-2.2M — авторегрессионная языковая модель всего на ~2,2 млн параметров от oscar128372. Это исследовательский проект про экстремально малые SLM: вместо обычного Transformer — кастомные гибридные блоки, собственный токенизатор и нестандартный тренировочный стек. Контекст — 512 токенов, словарь — 2 048 токенов, обучение в основном на английском.

✨ Ключевые особенности

• 💎 Гибридные блоки: Multi-Scale Causal State Mixer, Residual Pyramid Attention и Harmonic Differential StarCarrier FFN.
• 🎲 Math-Isolated токенизатор: цифры и арифметические символы не склеиваются в субтокены.
• 👁 RPA-внимание: локальное окно, разреженное извлечение через SRVQ и глобальное сжатие регистров.
• 🔨 Обучение: Muon + AdamW, EMA, float16, torch.compile и Triton-ядра.
• 📓 Смесь из 8 датасетов: 82% язык/знания/QA и 18% математика.

💻 Пример

Сценарий из карточки — исследование экстремально малых языковых моделей: архитектурных приоров, гибридных оптимизаторов Muon + AdamW и стратегий токенизации арифметики. Для прикладных задач с открытым диалогом модель не предназначена.

Подробнее

HellaSwag — 28,29%, ARC-Easy — 37,42%, PIQA — 56,42%, ArithMark-3 — 37,50%, Intelligence Index — 9,39.
Всего 3 слоя, d_model=192, 4 головы внимания, FFN=384, контекст 512 токенов.
Ограничения: мало параметров, слабая фактическая память и риск галлюцинаций.
Лицензия MIT; обучение заняло около 1,97 млрд токенов, пост-тренинг — ~3 часа.