Sophon-Realtime-32B-Flash

Sophon-Realtime-32B-Flash — 32B full-duplex speech-модель от adventists-ai, которая работает как единая модель в vLLM-Omni: слушает пользователя, пишет ответ и говорит параллельно. Это Flash-сборка семейства v1: тот же 32B thinker, что у Tag, но более лёгкая и быстрая голосовая стадия с одним forward pass на шаг. Языки — китайский и английский, лицензия Apache-2.0.

🔥 Ключевые особенности

• 🎤 Real full duplex: слушает всё время, пока говорит пользователь, черновик ответа готовит по ходу, останавливается при перебивании и продолжает на «mm-hm».
• 💥 Быстрый старт: 0.31 с до первого аудио на одном потоке; до ~40 одновременных пользователей на 80 GB GPU.
• 🦾 Сильный «мозг»: VoiceBench 82.8 и Big Bench Audio 81.8% — #1 среди открытых full-duplex моделей; на VoiceBench на уровне GPT-4o-mini-Audio.
• 👁 Понимает паралингвистику: 48.6, #1 в целом; впереди Gemini 3.8 Flash (46.9) и Qwen3-Omni (44.6) на LISTEN, StressTest и MSPB.
• ✅ Звуковые теги выполняются, а не читаются вслух: [laughter], [cough], [sigh], <laughter>…</laughter>.
• 🤝 Tool calling в Full-Duplex-Bench v3: Pass@1 48% против 43% у Grok при 100% response rate; live-режим совместим с OpenAI GPT-Live.

🎤 Пример

bash install.sh
GPU=0 PORT=8000 bash start.sh
python client_example.py --wav my_question.wav --lang en --voice chelsie
bash stop.sh

Подробнее

VoiceBench 82.8, Big Bench Audio 81.8%, паралингвистика 48.6 — первые места среди открытых full-duplex.
Первый звук 0.31 с медиана на 1 потоке; рекомендуется до ~40 потоков на 80 GB GPU.
Память ~55 GB на инстанс; первый запуск компилирует кернелы ~10 мин, последующие 5–8 мин.
Ограничение: тег <strong> пока слабый; Tag выразительнее смеётся. Голоса: chelsie и brand. LoRA-дообучение thinker в ms-swift — хватает одной 80 GB GPU.