TinyBrainBot-53M-A9M-Hybrid-Instruct

TinyBrainBot — чат-модель на 53,4 млн параметров, обученная с нуля. Гибридная архитектура: 8 блоков gated short-convolution и 4 блока GQA attention, плюс mixture of experts; активны 9,3 млн параметров на токен. Раскладка совпадает с LFM2-MoE, поэтому модель нативно работает в llama.cpp, LM Studio и Ollama, а в transformers ≥ 5 — как Lfm2MoeForCausalLM.

⚙ Ключевые особенности

• 🧩 12 блоков: короткие свёртки с kernel 7 и attention каждый третий блок.
• ⚡ MoE: 32 эксперта шириной 96, top-4, sigmoid router; всего 53,43M параметров.
• 💭 Thinking и tool calling: отдельные токены <think>, <tool_call>, XML-вызовы инструментов.
• 🪙 Токенизатор tbb-49k на 49 152 токена, ChatML, контекст 2 048 токенов.
• 🫡 Обучение с нуля на 2×Tesla V100 16GB; чат-файнтюн через ESFT — только 35 из 352 экспертов.

🚗 Пример

llama-server -m tinybrainbot-53m-a9m-hybrid-instruct-F16.gguf --jinja --reasoning-budget 0

Флаг --reasoning-budget 0 отключает thinking для обычного чата; без него модель вернёт рассуждение в reasoning_content.

Подробнее

Бенчмарки: MMLU 24,82; PIQA 64,04; ARC-Easy 49,71. ESFT дал +0,54 в среднем по 12 задачам, полный файнтюн — −1,51.
F16 GGUF весит 109 MB, Q8_0 — 59 MB, но сильнее дрейфует.
Ограничения: только английский, контекст 2 048 токенов, ошибки в арифметике и многошаговых инструкциях.
Модель задумана как маленький тест рецепта для более крупного TinyBrainBot.