Signal 2 Flash Next Gyro
GGUF
2 мин чтенияобновлено
Новая компактная версия модели Qwen3.8-Flash-Next (размер файла 59.5 GB), оптимизированная для автономного написания кода (agentic coding) и высокой эффективности. Модель создана командой AgentionAI путем самодистилляции на успешных сессиях кодинга и объединяет тюнинг непосредственно в весах без использования внешних адаптеров. Она выдает на 27% меньше лишних токенов и сокращает общее время работы агента по сравнению с базовой версией, сохраняя точность на сложных задачах. Пригодится разработчикам, инженерам и тем, кто запускает локальных агентов для автоматизации программирования на собственном железе.
Ключевые особенности
- Высокая эффективность: превосходит или не уступает более крупным аналогам в решении сложных многошаговых задач программирования.
- Меньше ожидания: сокращает время выполнения сессий агента за счет генерации меньшего количества токенов без потери качества.
- Самодистилляция: обучалась на собственных успешных и проверенных сессиях кодинга базовой модели.
- Без адаптеров: тюнинг полностью влит в веса, модель работает как обычный монолитный файл.
Что можно сделать
- Подключить в локальный Docker-контейнер для автоматизации разработки программ и написания кода.
- Запустить на Mac или видеокартах AMD Strix Halo / RTX 5090 с длинным контекстом до 64k.
- Использовать в специализированных форках llama.cpp для агентов с поддержкой MTP (Multi-Token Prediction) драфтов.
Пример
Запуск модели через Docker с использованием оптимизированного GGUF-файла и MTP-драфта:
hf download agentionai/Signal-2-Flash-Next-Gyro-GGUF Signal-2-Flash-Next-Gyro-S-TQ1_0.gguf --local-dir ~/models
docker run --rm -it --device /dev/dri --group-add "$(getent group render | cut -d: -f3)" \
-v ~/models:/models -p 8080:8080 agentionai/agention-llama:server \
-m /models/Signal-2-Flash-Next-Gyro-S-TQ1_0.gguf -ngl 999 -fa on --jinja --ngram-on-disk \
-c 65536 -ctk q8_0 -ctv q8_0 --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.05
Подробнее
Бенчмарки: 87.5% успешных прохождений на агентическом гейте (против 92.8% у файла размером 111 GB).Требования к железу: от 32 GB VRAM (с урезанным контекстом) до 64 GB+ объединенной памяти (Mac, Strix Halo) для 64k контекста.
Ограничения: upstream версия llama.cpp пока не поддерживает загрузку данного файла, требуется форк (например, agentionai/llama.cpp).
Детали обучения: треллис-кодированное квантование с преобразованием Адамара (QTIP).










Комментарии