KLM 1.6

KLM 1.6 — base-модель на 99M параметров от MinimaLabs, продолжающая обучение с чекпоинта KLM 1.5 до decay-стадии. Это инкрементальное обновление: learning rate затухает на 100B токенах вместо 20B. Модель не обучена следовать инструкциям и предназначена для дообучения под свои задачи.

⚙ Ключевые особенности

• ⚙ 98,975,308 параметров, 24 слоя: Gated DeltaNet-2 и attention в пропорции 3:1; контекст 2 048 токенов.
• 🧬 Тренировка в три этапа: Token-Superposition warm-up, stable training и decay; матрицы весов обучались MuonEq-R.
• 🏆 Intelligence Index 33.95 на Open SLM leaderboard — первое место среди моделей до 100M, 150M и 250M параметров.
• 🧩 В токенизаторе уже есть <|im_start|>, <|im_end|>, <think> и </think> как отдельные токены — удобно для chat- и reasoning-файнтюнов.
• 📀 Код на чистом PyTorch: запускается на CPU и GPU через Transformers без дополнительных пакетов.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "MinimaLabs/KLM-1.6"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tok("The three primary colors are", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=40)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

На Open SLM leaderboard Intelligence Index 33.95 — первое место среди моделей до 100M, 150M и 250M параметров.
ARC-Easy 61.07%, ArithMark-3 55.90% — zero-shot с length-normalized accuracy.
Ограничения: только английский, контекст 2 048 токенов, слабые факты и нет safety alignment.
Это base-модель без инструкций; перед публикацией нужен собственный фильтр.