Sekai-1

Sekai-1 — первая модель серии Sekai от 8BitStudio: небольшая языковая модель, обученная с нуля на одной RTX 5060 Ti. У неё 95,6 млн параметров, 23 слоя, скрытая размерность 576 и контекст 2048 токенов. Архитектура в стиле Qwen3: decoder-only, grouped-query attention, SwiGLU, RMSNorm, RoPE и tied embeddings.

⚙ Ключевые особенности

• 🧑‍💻 Собственный BPE-токенизатор на 24 576 токенов; числа разбиваются на отдельные цифры.
• 📚 Pretraining на 58,5 млрд токенов веб-, учебных, математических, кодовых и диалоговых данных.
• 🎯 SFT примерно на 400 млн токенов: инструкции, повседневный чат, короткие и длинные ответы, пересказ, редактирование и код.
• 🌐 Понимает только английский; формат чата — ChatML.
• 💻 Достаточно компактна для запуска на CPU.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "8BitStudio/Sekai-1"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Who are you?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_dict=True, return_tensors="pt")
print(tok.decode(model.generate(**inputs)[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Подробнее

На Open SLM Leaderboard модель занимает второе место среди моделей до 100M параметров, уступая KLM-1.5; все оценки zero-shot.
Запускается на CPU; отдельных требований к VRAM в карточке нет.
Слаба в многошаговых рассуждениях и математике сложнее простой арифметики, ошибается в фактах и теряет нить в длинных диалогах.
Нет safety-тюнинга и отказов — не используйте там, где это важно.