Ultron

Ultron — крошечная языковая модель на 129 млн параметров от rishabh-rishuu, обученная с нуля. Архитектура LLaMA-style decoder: 16 слоёв, SwiGLU, RMSNorm, RoPE и Grouped-Query Attention. Рассчитана на английский язык и локальный запуск, вплоть до CPU через llama.cpp.

🧩 Ключевые особенности

• ⚙ 129 000 192 параметра; 16 слоёв, GQA (12 query heads, 4 KV heads), контекст 2 048 токенов, словарь 49 152.
• 🧊 Форматы: SafeTensors BF16, GGUF BF16 (~258 МБ) и GGUF Q4_K_M (~75 МБ).
• 🚅 На CPU через llama.cpp выдаёт 100+ токенов/с.
• 🧩 После SFT умеет вести короткий диалог, писать небольшие Python-сниппеты и отвечать по заметкам.
• 🛑 Ограничения: может зацикливаться, путается в физике и сложной многошаговой математике.

💡 Пример

Модель обучена на ChatML — без тегов она путается.

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
Write a python function to add two numbers.<|im_end|>
<|im_start|>assistant

Подробнее

Параметры: 129 000 192; контекст 2 048 токенов; словарь 49 152.
Язык карточки — английский; сложная математика и физика модели не по зубам.
В 4-bit GGUF весит около 75 МБ и запускается на CPU; скорость — 100+ токенов/с через llama.cpp.
Обучение: код, отобранный веб-текст и диалоги, затем SFT для формата ассистента.