Qwen3.8-Flash-Next Gyro-Coder
125B модель для кода на одной видеокарте 24 ГБ
2 мин чтенияобновлено
Qwen3.8-Flash-Next Gyro-Coder — это специализированная GGUF-сборка огромной языковой модели Qwen/Qwen3.8-Flash-Next (125B параметров, архитектура MoE — смесь экспертов) от команды agentionai. Разработчики вырезали половину экспертов, оставив только те 256 из 512 в каждом слое, которые отвечают за программирование, и сжали веса собственным trellis-кодером до 2.125–3.2 бит на вес. В результате модель помещается в одну потребительскую видеокарту уровня RTX 3090, 4090 или 7900 XTX, сохраняя почти полное совпадение по предсказаниям с оригиналом на задачах кодинга. Подойдёт разработчикам, которым нужен мощный локальный ассистент для написания, рефакторинга и отладки кода.
Ключевые особенности
- Умный прунинг экспертов: эволюционный отбор оставил в GPU только 65B активных параметров, критичных для программирования.
- Две версии под разную VRAM: базовый
TQ2_0занимает 19.92 GiB (влезает в 24 ГБ даже с контекстом 64k), аGyro-Coder-L(TQ3_0) требует 27.54 GiB для карт на 32 ГБ. - Надёжные вызовы инструментов (v1.2): в обновлённой версии вернули трёх важных экспертов, полностью убрав поломки тегов при tool calls в агентских сессиях.
- Облегчённая загрузка (
-noPLE): таблицу n-грамм (PLE) можно скачать отдельно один раз, уменьшив размер файла модели с 75.8 ГБ до 21.4 ГБ.
Что можно сделать
- Подключить к IDE или агентским системам: поднять локальный OpenAI-совместимый API и направить туда плагин редактора для автодополнения и мультифайловых правок.
- Автоматизировать рефакторинг и багфиксинг: передавать модели трейсы ошибок, SQL-запросы или код на C++, Python, TypeScript и Rust по чётким инструкциям.
- Запускать в кодинг-агентах с tool calls: версия Gyro-Coder-L v1.2 прошла 292 вызова инструментов в агентских задачах без единой ошибки форматирования.
Пример
hf download agentionai/Qwen3.8-Flash-Next-Gyro-Coder-GGUF Qwen3.8-Flash-Next-Gyro-Coder-TQ2_0.gguf --local-dir ~/models
docker run --rm -it --gpus all -e NVIDIA_DRIVER_CAPABILITIES=all \
-v ~/models:/models -p 8080:8080 agentionai/agention-llama:server \
-m /models/Qwen3.8-Flash-Next-Gyro-Coder-TQ2_0.gguf -ngl 999 -fa on --jinja --ngram-on-disk -c 65536
Подробнее
Качество: top-1 совпадение с полной моделью Q8_0 составляет 94.5% на C++ и 93.1% на Python (у версии Gyro-Coder-L — 95.5% и 94.0%); в автотестах пройдено 13 из 16 задач.Железо и требования: для веса 19.92 GiB (21.1 GiB с контекстом 64k в
q8_0) нужна карта с 24 ГБ VRAM и быстрый NVMe-диск для выгрузки таблицы n-грамм (--ngram-on-disk).Ограничения: стандартный
llama.cpp, Ollama и LM Studio формат не поддерживают — нужен форк от agentionai или strix-llama.cpp; общие знания и таблицы символов (например, греческий алфавит) ослаблены из-за удаления половины экспертов.









Комментарии