Lemma-2.2M-init2
микро-LLM для арифметики на токенах
1 min readupdated
Lemma-2.2M-init2 — экспериментальная микро-LLM на 2,2 млн параметров от oscar128372. Она создана для проверки числовых рассуждений на уровне токенов и гибридного разреженно-рекуррентного внимания при жёстких ограничениях по параметрам и вычислениям. Претрейн с нуля шёл на одной NVIDIA T4.
Ключевые особенности
- 2,2 млн параметров: 3 слоя
UnifiedTransformerBlock(d_model=192, 4 головы, tied embeddings, logit softcapping 30.0). - Токенизатор на 2048 BPE-токенов с regex-изоляцией: каждая цифра и операторы
+ - * / = ( )— отдельные токены. - Residual Pyramid Attention: локальное окно
W=8с Multi-Octave RoPE, retrieval через SRVQ и Triton-ядро, глобальные регистрыG=8. - MSCSM и FFN: gated depthwise causal conv с тремя dilated-ветвями; Harmonic Differential StarCarrier FFN.
- Обучение с нуля: 1× NVIDIA T4, ~6 часов претрейна (30 000 шагов, ~1,97 млрд токенов) и ~1 час посттренинга.
Пример
Чтобы загрузить веса, нужен класс UnifiedLM из modeling.py, CUDA-совместимая GPU и установленный triton: модель использует кастомные модули и Triton-ядро build_causal_index_fast_kernel.
Подробнее
Бенчмарки zero-shot: HellaSwag 27.91%, ARC-Easy 34.34%, PIQA 54.95%, ArithMark-3.0 39.50% (acc_norm).Intelligence Index Open SLM Leaderboard: +8.19.
Контекст — 512 токенов; это research preview, не для продакшена и фактической надёжности.
Для загрузки нужны CUDA-совместимая GPU и
triton.









Comments