Ultron
129M-параметровая LLM для локального запуска
1 min read
Ultron — крошечная языковая модель на 129 млн параметров от rishabh-rishuu, обученная с нуля. Архитектура LLaMA-style decoder: 16 слоёв, SwiGLU, RMSNorm, RoPE и Grouped-Query Attention. Рассчитана на английский язык и локальный запуск, вплоть до CPU через llama.cpp.
Ключевые особенности
- 129 000 192 параметра; 16 слоёв, GQA (12 query heads, 4 KV heads), контекст 2 048 токенов, словарь 49 152.
- Форматы: SafeTensors BF16, GGUF BF16 (~258 МБ) и GGUF Q4_K_M (~75 МБ).
- На CPU через llama.cpp выдаёт 100+ токенов/с.
- После SFT умеет вести короткий диалог, писать небольшие Python-сниппеты и отвечать по заметкам.
- Ограничения: может зацикливаться, путается в физике и сложной многошаговой математике.
Пример
Модель обучена на ChatML — без тегов она путается.
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
Write a python function to add two numbers.<|im_end|>
<|im_start|>assistant
Подробнее
Параметры: 129 000 192; контекст 2 048 токенов; словарь 49 152.Язык карточки — английский; сложная математика и физика модели не по зубам.
В 4-bit GGUF весит около 75 МБ и запускается на CPU; скорость — 100+ токенов/с через llama.cpp.
Обучение: код, отобранный веб-текст и диалоги, затем SFT для формата ассистента.










Comments