Gemma-4-31B-Animus-V17.0-MTP
ускоритель генерации для Animus V17
2 мин чтенияобновлено
Специализированная модель-драфтер (небольшая вспомогательная нейросеть на 0.47 млрд параметров, которая заранее угадывает следующие токены для основной модели) от Starflight-Systems. Она предназначена для ускорения генерации текстовой модели Darkhn/Gemma-4-31B-Animus-V17.0 с помощью метода speculative decoding (спекулятивного декодирования без потери качества). В основе лежит официальный драфтер Google gemma-4-31B-it-assistant, дообученный на собственных текстах Animus V17. В отличие от стандартного драфтера Google, эта версия адаптирована под стиль ролевых сценариев и словарный запас Animus, поэтому работает заметно быстрее без изменения итоговых ответов.
Ключевые особенности
- Обучена на 5.8 млн токенов, сгенерированных самой моделью Animus V17 в категориях Wings of Fire RP (36%), технических текстах (25%), литературном письме (22%), других ролевых сценариях (17%) и вызове инструментов (1%).
- В словаре разморожены и дообучены 28 специальных токенов для названий племён из вселенной Wings of Fire (ID 6–33) с учётом поведения токенизатора в llama.cpp.
- Обеспечивает прирост скорости генерации до 2.0x в режиме greedy и 1.8x при temperature 1 на пользовательских видеокартах по сравнению с запуском без драфтера.
- Полностью совместима по архитектуре и размеру с базовым драфтером Google и работает как прямая замена без потери качества текста.
Что можно сделать
- Ускорить локальный запуск ролевых сессий и интерактивных историй на базе Gemma-4-31B-Animus-V17.0 в
llama-server. - Повысить скорость ответов Animus V17 при работе с техническими запросами и вызовом инструментов (tools), где доля принятия черновых токенов достигает 70–76%.
- Использовать готовые GGUF-сборки (Q8_0 и Q4_0) из сопутствующего репозитория для запуска на системах с несколькими видеокартами или унифицированной памятью уровня NVIDIA GB10.
Пример
llama-server -m Gemma-4-31B-Animus-V17.0-Q8_0.gguf \
--spec-type draft-mtp \
--model-draft mtp-Gemma-4-31B-Animus-V17.0-Q8_0.gguf \
--spec-draft-n-max 4 --spec-draft-p-min 0.0Подробнее
Бенчмарки (llama.cpp, Q8_0): 54.0 ток/с (greedy) и 49.0 ток/с (temp 1, min_p 0.02) против 26.7 ток/с без драфтера на двух потребительских GPU.На NVIDIA GB10: 17.0 ток/с (greedy) и 15.8 ток/с (temp 1) против 6.9 ток/с без драфтера.
Железо: при разделении слоёв по GPU (
-sm layer) драфтер нужно размещать на карте с последними слоями основной модели (--spec-draft-device).Ограничения: преимущественно английский язык, обучение на контексте до ~6k токенов, лицензия CC BY-NC-SA 4.0 (только некоммерческое использование).










Комментарии