Gemma 4 31B LiLiCorr Drafter
ускоритель генерации для Gemma 4
2 мин чтенияобновлено
Лёгкая черновая модель (draft model) на 2.58B параметров, созданная для ускорения работы крупной языковой модели google/gemma-4-31B-it с помощью спекулятивного декодирования (speculative decoding — метода, при котором маленькая быстрая модель заранее предсказывает несколько токенов, а большая проверяет их за один проход). В основе лежит 5-слойный декодер архитектуры Qwen3 с головой LiLiCorr, обученный с нуля от автора MeganEFlynn. Модель генерирует по 7 спекулятивных токенов за шаг (размер блока 8), позволяя значительно сократить время ожидания ответа без потери качества основной модели. Пригодится разработчикам и владельцам серверов, которые запускают Gemma 4 31B в продакшене через vLLM и хотят выжать максимум скорости генерации.
Ключевые особенности
- Спекулятивное декодирование: предсказывает блок из 8 токенов (7 спекулятивных за шаг) с жадным выбором (greedy proposal) и верификацией по скрытым состояниям базовой модели.
- Гибридная архитектура: 5-слойный декодер Qwen3 (hidden 5376, 32 головы, sliding-window attention 2048) в связке с 2-слойной головой LiLiCorr (top-k 8, ширина 1024).
- Высокая точность предсказаний: на валидации после 0-й эпохи общая точность (full_acc) составила 0.6048, а ожидаемая длина принятой последовательности (lilicorr_eal) достигла 4.7257 токена.
- Компактный размер: файл весов
model.safetensorsв формате bf16 занимает всего 5.16 GB.
Что можно сделать
- Ускорить инференс Gemma 4 31B: подключить модель как draft-модель в поддерживаемой сборке vLLM или через библиотеку
speculatorsдля снижения задержек (latency) в чат-ботах и API. - Дообучить или протестировать 1-ю эпоху: использовать этот чекпоинт (
checkpoint_bestпосле 0-й эпохи) для замеров скорости на своих промптах или дождаться выхода финальной 1-й эпохи.
Пример
Модель не предназначена для самостоятельной генерации текста и запускается только в паре с верификатором google/gemma-4-31B-it. Для запуска в vLLM укажите этот репозиторий как draft-модель с методом draft_model и размером блока 8, предварительно заменив локальный путь к верификатору в config.json на ID модели из Hugging Face Hub.
Подробнее
Валидация (13 925 групп промптов): точность по позициям 1–7 составила 0.8613 / 0.7433 / 0.6528 / 0.5800 / 0.5179 / 0.4636 / 0.4133, loss — 1.4685.Обучение: 1 774 091 строк (2.14B токенов) из датасета
nm-research/gemma-4-31b-it-responses-open-perfectblend, 13 383 шага (эпоха 0 из 2).Ограничения: требуется библиотека
speculators (ветка lilicorr-clean / gemma4-perfectblend-lilicorr-clean) или пропатченный vLLM с регистрацией алгоритма lilicorr.









Комментарии