Mark-SLM-3M

Mark-SLM-3M — сверхкомпактная языковая модель от miceworks для генерации текста, обученная с нуля под потолок в 3 млн параметров для Open SLM Leaderboard. Архитектура deepseek2: Multi-Head Latent Attention (H-MLA) и Parallel Branching MoE (PB-MoE), 8 слоёв, hidden 192, контекст 2048 токенов.

1⃣ Ключевые особенности

• ➕ Всего 2 946 008 физических параметров — строго ниже лимита 3 000 000.
• ➕ MoE: 4 routed experts, 1 активный на токен и 1 shared expert.
• ➕ Словарь 4096 BPE-токенов с отдельными токенами для цифр.
• ➕ Вес в PyTorch ~11,80 MB; GGUF IQ4_NL ~3,12 MB.
• ➕ Цели: embedded microcontrollers, edge-устройства, Ollama, LM Studio, llama.cpp, PyTorch.

2⃣ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'miceworks/Mark-SLM-3M'
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tok('Sam had 12 marbles and found 8 more. Afterward, Sam had', return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=32)
print(tok.decode(outputs[0], skip_special_tokens=True))

Подробнее

Бенчмарки Open SLM Leaderboard близки к случайному уровню: HellaSwag 27,70% (norm 3,60), ARC-Easy 27,60% (3,47), ARC-Challenge 28,43% (4,57), PIQA 52,60% (5,20), ArithMark-3.0 31,40% (8,53).
Intelligence Index — 4,86; ARC Average Normalized — 4,02.
Требования к VRAM не указаны; заявлены embedded/edge, Ollama, LM Studio, llama.cpp и PyTorch.
Ограничение: качество около baseline, модель не для сложных задач.