KLM 1.5

KLM 1.5 от MinimaLabs — базовая языковая модель на 99M параметров, обученная с нуля на 100B токенов. Это не инструкционная и не чат-модель: она продолжает текст и предназначена для дальнейшего файнтюна. Работает только на английском.

🧩 Ключевые особенности

• ⚙ Гибридная архитектура: слои Gated DeltaNet-2 и полного внимания в пропорции 3:1.
• 🔮 Exact n-gram memory: отдельные векторы для 125 тыс. биграмм и 38 тыс. триграмм, 5,4M параметров.
• 🧬 Block Attention Residuals: каждый слой смешивает эмбеддинги и выходы всех предыдущих слоёв.
• 📀 Компактный токенизатор на 4 100 токенов; числа разбиваются на отдельные цифры.
• 🏆 Intelligence Index 30,26 — первое место среди моделей до 100M на Open SLM leaderboard.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "MinimaLabs/KLM-1.5"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tok("The three primary colors are", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=40)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Бенчмарки zero-shot: ARC-Easy 59,68%, HellaSwag 43,74%, PIQA 68,55%, ArithMark-3 48,20%.
Контекст — 2 048 токенов; модель работает на CPU и GPU на чистом PyTorch.
Ограничения: слабые фактические знания, только английский, без safety alignment.
Лицензия Apache-2.0; обучение шло в три этапа, включая warm-up на Token-Superposition Training.