Speakrail Gemma 4 E4B
голосовой диалог без пауз на 16 ГБ VRAM
2 min readupdated
Компактный LoRA-адаптер (небольшая обучаемая надстройка над весами) на базе квантованной модели google/gemma-4-E4B-it-qat-w4a16-ct (int4) от проекта Speakrail. Модель создана для полнодуплексного голосового общения: она читает поток распознанной речи в реальном времени и после каждого события выбирает один из 22 управляющих токенов — заговорить, продолжить слушать, перебить, промолчать или вставить короткую реплику. Главное отличие от старшей 12B-версии в том, что весь голосовой стек (распознавание речи, LLM и синтез речи) помещается на видеокарту с 16 ГБ памяти с полным контекстом 128k, при этом первая аудиореплика генерируется быстрее. Пригодится разработчикам локальных голосовых ассистентов с естественной динамикой диалога.
Ключевые особенности
- Работает на 16 ГБ VRAM: при выносе таблицы послойных эмбеддингов (5,6 ГБ) в закреплённую память CPU веса модели в видеопамяти занимают всего 4,1 ГиБ, а весь голосовой стек укладывается в 15,3 ГБ.
- 22 токена управления диалогом: обучены новые строки в
embed_tokensиembed_tokens_per_layer, позволяющие модели решать, когда вступать в разговор, уступать слово или молчать при тишине. - Низкая задержка ответа: в реальном 15-минутном разговоре медианное время до первого аудиосэмпла составляет 399 мс, а до вывода на динамик — 460 мс (быстрее 12B-версии).
- Компромисс по инструментам: по сравнению со старшей моделью 12B компактная версия быстрее вызывает функции, но чаще ошибается в выборе инструмента.
Что можно сделать
- Собрать локального голосового ассистента на базе фреймворка Speakrail в связке с распознаванием речи Voxtral Mini 4B Realtime и синтезатором Breeze TTS 2 или Pocket TTS.
- Встроить модель в пайплайн голосового бота с поддержкой вызова внешних инструментов (tool calls) и веб-поиска, где критична мгновенная реакция на перебивания пользователя.
Пример
vllm serve speakrail-e4b/model --served-model-name speakrail-base \
--enable-lora --max-lora-rank 32 --max-loras 1 --lora-modules speakrail=speakrail-e4b/adapter \
--max-model-len 16384 --max-num-seqs 3 --gpu-memory-utilization 0.44 --enable-prefix-caching \
--generation-config vllm --limit-mm-per-prompt '{"image":0,"audio":0}'Подробнее
Бенчмарки: Full-Duplex-Bench v3 Pass@1 — 0.44 (у 12B — 0.56), Tool F1 — 0.815, Conversational Dynamics — 88.0% (у 12B — 93.4%), VoiceBench IFEval — 51.0.Обучение: 1 эпоха (2384 шага по ~32k токенов, ~4 часа на одной H100), LoRA rank 32 / alpha 64.
Ограничения: только английский язык; требует обвязки Speakrail (без протокольных токенов работает хуже базовой Gemma); склонна отвечать шаблонными короткими фразами вроде «Sounds good.» на повседневные реплики.
Лицензия: Apache 2.0.










Comments