VibeVoice-Realtime-0.5B
TTS, который начинает говорить за ~300 мс
1 min read
Лёгкая realtime-модель для синтеза речи: streaming-вариант VibeVoice с LLM на базе Qwen2.5-0.5B, акустическим токенизатором и diffusion-головой. По карточке — проект Microsoft Research; предназначена для озвучки потокового текста и ответов LLM ещё до завершения генерации.
Ключевые особенности
- Real-time TTS: первые слышимые звуки примерно через 300 мс, задержка зависит от железа.
- Streaming text input: модель кодирует входящие чанки текста и параллельно продолжает diffusion-генерацию акустики по предыдущему контексту.
- 0.5B и deployment-friendly: LLM Qwen2.5-0.5B плюс эффективный акустический токенизатор с очень низким frame rate 7.5 Hz.
- Поддерживает только одного спикера; для мультиспикерных диалогов есть другие модели VibeVoice.
- Основной язык — английский. Дополнительно заявлены немецкий, французский, итальянский, японский, корейский, нидерландский, польский, португальский и испанский, но результаты в них могут быть непредсказуемыми.
Пример
Подключите модель к потоку токенов LLM: как только приходят первые фрагменты ответа, TTS начинает озвучивать их, не дожидаясь полной генерации. Сценарии из карточки — realtime-озвучка, live-стримы данных и интерактивные ассистенты.
Подробнее
LibriSpeech test-clean: WER 2.00%, speaker similarity 0.695; SEED test-en: WER 2.05%, similarity 0.633.Генерация до ~10 мин при контексте 8k; требований к VRAM в карточке нет.
Только один спикер и английский; музыка, фоновые звуки, код и формулы не поддерживаются.










Comments