Zehn 135M

Zehn 135M от GrowBitLabs — decoder-only base-модель на 134 997 792 параметра для генерации текста. В ней 12 слоёв gated DeltaNet и 4 слоя grouped-query attention, а также разреженные MoE-блоки. Это completion-модель: она продолжает текст и не использует чат-шаблон.

🔍 Ключевые особенности

• ⚙ 16 слоёв, hidden size 768; 12 query heads и 4 key/value heads.
• 💡 MoE: 4 routed experts, top-2 routing и 1 shared expert.
• 📚 Претрейн на смеси FineWeb-Edu-Dedup (70%) и Cosmopedia v2 (30%).
• 💻 Есть FP16 safetensors и GGUF, но стандартный llama.cpp не запустит кастомную архитектуру zehn.
• 🔒 Для загрузки в Transformers нужен trust_remote_code=True.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "GrowBitLabs/zehn-135m"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tok("The future of small language models is", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=64, do_sample=True)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Валидация: cross-entropy 2.9731 и perplexity 19.55 на небольшом срезе из 21 152 токенов.
Обучение: 32 000 шагов, около 1.049 млрд токен-позиций, последовательности по 1 024 токена.
Заявлена максимальная длина 330 000 токенов, но на такой длине качество не проверялось.
Модель не проходила instruction tuning и safety-оценку; возможны ошибки, повторы и предвзятость.