ZONOS3-Mini

ZONOS3-Mini — открытая text-to-speech модель от Zyphra: 800M параметров всего и около 100M активных на токен. Умеет синтезировать естественную речь и клонировать голос по аудио, работает в реальном времени на телефонах и ноутбуках, включая браузер. Веса под Apache 2.0.

🎨 Ключевые особенности

• 🔊 Клонирование голоса по референсному клипу до 60 с или по speaker embedding.
• 🎨 Дизайн персонажа: возраст, акцент и тембр; эмоции, темп и подача — вплоть до отдельных слов.
• ⚡ Около 100M активных параметров, real-time на телефонах и ноутбуках, есть WebGPU-сборка для браузера.
• 🗣 Аудио 44.1 кГц, до 10 минут за генерацию; 15 Hz dual-codec frames, 10 кодбуков по 4,096.
• 🌐 NeMo-нормализация для английского, китайского, японского, корейского, немецкого, испанского, французского, итальянского и португальского; остальные языки идут как есть.
• ⚙ Запуск через SGLang с OpenAI-совместимым API, CUDA/MLX/C++/ggml-рантаймы и браузерный WebGPU; лицензия Apache 2.0.

⌨ Пример

sgl-omni serve --model-path Zyphra/ZONOS3-Mini --port 8000
curl -X POST http://localhost:8000/v1/audio/speech -H 'Content-Type: application/json' -d '{"input": "Hello from ZONOS3-Mini!"}' --output output.wav

Подробнее

На H100 80GB: медиана времени до первого аудио — 80 мс при 8 параллельных запросах; пиковая пропускная способность — 457 секунд аудио в секунду.
Качество измеряли на 55 языковых подмножествах ZTTS2-Eval (FLEURS-R и VoxBlink2), с speaker-embedding prompt.
Архитектура: 11 слоёв, dim 1,024, MoE с 64 экспертами и top-2 routing с первого слоя; 9 GDN-слоёв и 2 global attention.
Веса в bf16, декодер в fp32; контекст 32,768 позиций.