Sophon-Realtime-4B-Flash
полнодуплексный голосовой ИИ для видеокарт на 24 ГБ
2 min readupdated
Компактная 4B-версия голосовой модели от adventists-ai, которая умеет слушать и говорить одновременно (full-duplex — режим двустороннего общения в реальном времени, как в обычном телефонном разговоре). В основе лежит открытая речевая модель DuplexJev-4B-Para с вшитым адаптером генерации звуковых тегов, связанная с лёгким и быстрым синтезатором речи. В отличие от тяжёлых 32B-сборок семейства и классических голосовых пайплайнов с долгой паузой перед ответом, версия Flash помещается в 24 ГБ VRAM, начинает говорить через 0,21 секунды и умеет перебиваться, вставлять реакции (back-channels) и озвучивать смех или вздохи. Подойдёт разработчикам локальных голосовых ассистентов, виртуальных компаньонов, игровых персонажей и исследователям диалоговых систем.
Ключевые особенности
- Минимальная задержка: первое аудио появляется за 0,21 секунды (замер для одного пользователя на RTX PRO 6000), синтез идёт с шагом один прямой проход на фрейм 80 мс.
- Живая подача и теги эмоций: модель сама расставляет и озвучивает теги
[laughter],[cough],[sigh],[breath]и логические ударения. - Настоящий full-duplex: отслеживает по интонации, закончил ли собеседник фразу, реагирует во время речи пользователя и корректно отрабатывает перебивания (barge-in).
- Готовый API из коробки: разворачивается как единая модель в vLLM-Omni с эндпоинтами
/v1/realtime(совместим с OpenAI Realtime) и/v1/chat/completions. - Клонирование голоса: поддерживает zero-shot клонирование голоса (перенос тембра по короткому образцу без дообучения) и режим Live.
Что можно сделать
- Локальный голосовой компаньон или NPC: развернуть отзывчивого персонажа для игр или стримов, которого можно перебивать на полуслове и который реагирует смехом или вздохами.
- Голосовой бот на базе OpenAI Realtime API: подключить модель к существующему клиенту через
/v1/realtimeна собственном сервере с одной картой на 24 ГБ. - Исследование диалогов (turn-taking): использовать модель как открытый стенд (лицензия Apache-2.0) для изучения пауз, перехватов инициативы и естественных реплик в речи.
Пример
git clone [https://github.com/adventists-ai/sophon-realtime](https://github.com/adventists-ai/sophon-realtime) && cd sophon-realtime/flash
bash install.sh
hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model
GPU=0 PORT=8000 bash start.sh
python client_example.py --url [http://127.0.0.1:8000](http://127.0.0.1:8000)
Подробнее
Бенчмарки: Full-Duplex-Bench v1.0 — 87.7 (против 94.0 у 32B-версии), VoiceBench — 62.4 (выше Freeze-Omni с 55.2 и Moshi с 29.5, но ниже MiniCPM-o с 71.2), Big Bench Audio — 44.3%.Требования: одна GPU с 24 ГБ VRAM (занимает около 21 ГБ), запуск через vLLM 0.30 и vLLM-Omni 0.30 на Python 3.12.
Ограничения: только речь (без зрения/изображений); поддерживаются английский и китайский языки; из-за размера 4B заметно уступает 32B-версии в знаниях и логике и может уверенно выдавать неверные факты.










Comments