min-spark 1.7

min-spark 1.7 от MinimaLabs — базовая языковая модель на 9,98 млн параметров, дистиллированная из KLM 1.5 (99M) на 34 млрд токенов. Вместо одного прохода она прогоняет пять общих transformer-блоков от двух до пяти раз; уровень effort задаёт глубину вычислений. Модель продолжает текст, но не обучена следовать инструкциям или вести чат.

🔍 Ключевые особенности

• 🔄 Пять общих блоков запускаются 2–5 раз; режимы low, medium, high, max.
• ⚙ На каждом проходе — LoRA rank 33 на attention QKV, attention output и FFN gate/up/down.
• 📊 Intelligence Index 13.18 — лучший среди моделей до 10M по формуле Open SLM leaderboard.
• 📚 Обучение: 34B токенов, дистилляция из KLM 1.5; 96 600 шагов, 4 стадии.
• 🌐 Только английский, контекст 512 токенов, словарь 4096 BPE.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MinimaLabs/min-spark-1.7"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tokenizer("The meaning of life is", return_tensors="pt")
outputs = model.generate(**inputs, effort="medium", max_new_tokens=64)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Подробнее

Бенчмарки: ARC-Easy 40.82%, ARC-Challenge 24.15%, HellaSwag 29.97%, PIQA 60.55%, ArithMark-3 37.00% в режиме max.
ArithMark-3 при medium — 36.30; для 37.00 нужно выставить "effort": "max" в config.json.
Ограничения: слабые знания и частые фактические ошибки, только английский, 512 токенов контекста, нет safety alignment.
Лицензия Apache-2.0.