IBM-Grok4-UltraFast-Coder-1B-GGUF
лёгкий кодер с повадками Grok-4
2 min read
Разработчик WithinUsAI взял компактную языковую модель ibm-granite/granite-4.0-h-1b (~1,5B параметров) с гибридной архитектурой Mamba-2/Transformer и провёл её полный файнтюн (дообучение всех весов без LoRA-адаптеров). Для обучения использовали 9 датасетов (около 15,2 тыс. примеров), дистиллированных из семейств xAI Grok-4, Grok-4.1-Fast и Grok Code Fast 1. В результате получилась быстрая локальная модель в формате GGUF для генерации кода, пошаговых рассуждений и математических задач, которой в квантизации Q4_K_M хватает около 1 ГБ оперативной памяти — она без проблем запустится на обычном ноутбуке или мини-ПК.
Ключевые особенности
- Гибридная архитектура: 4 слоя внимания (attention) и 36 слоёв Mamba-2 обеспечивают линейную скорость обработки последовательностей и низкое потребление памяти.
- Полный файнтюн на Grok: все веса модели обновлены на смеси данных по программированию, логике, олимпиадной математике (AIME, HMMT, SMT) и головоломкам ARC-AGI-1.
- Длинный контекст: модель сохраняет контекстное окно базовой версии в 128K токенов и встроенный шаблон чата Granite.
- Готовые квантизации GGUF: в репозитории собраны 12 вариантов сжатия от Q2_K до F16, совместимые с llama.cpp и Ollama.
- Открытая лицензия: унаследованная от базы Apache 2.0 позволяет свободно использовать модель в личных и рабочих проектах.
Что можно сделать
- Поставить как локального ассистента для написания и отладки скриптов на Python, веб-разработки и задач для встраиваемых систем на слабом железе.
- Встроить в локальные агентские пайплайны и RAG-системы (генерация с поиском по базе знаний), где критична скорость отклика и лимит в ~1 ГБ RAM.
- Использовать для пошагового разбора логических головоломок, математических задач и мозговых штурмов без обращения к облачным API.
Пример
Модель не имеет официальной связи с xAI или IBM и не проходила повторных замеров на бенчмарках после дообучения. В качестве ориентира автор приводит показатели исходной granite-4.0-h-1b: 73.0 на HumanEval (pass@1), 69.83 на GSM8K и 59.74 на MMLU. В карточке отмечено, что после обучения модель перенимает структурированный стиль рассуждений (chain-of-thought) и формат ответов моделей-учителей Grok.
Подробнее
Базовая модель: ibm-granite/granite-4.0-h-1b (~1,5B параметров, в метаданных GGUF/Ollama отображается как 2B).Требования: квантизация Q4_K_M занимает около 1 ГБ RAM.
Обучение: 9 датасетов (~15,2K строк, основной объём — ~18,7M токенов из наборов Hyper-Logic и Hyper-Creative); гиперпараметры обучения не раскрыты.
Языки: преимущественно английский (база имеет мультиязычный претрейн), лицензия Apache 2.0.










Comments