VibeVoice-Realtime-0.5B

Лёгкая realtime-модель для синтеза речи: streaming-вариант VibeVoice с LLM на базе Qwen2.5-0.5B, акустическим токенизатором и diffusion-головой. По карточке — проект Microsoft Research; предназначена для озвучки потокового текста и ответов LLM ещё до завершения генерации.

✨ Ключевые особенности

• 💥 Real-time TTS: первые слышимые звуки примерно через 300 мс, задержка зависит от железа.
• 🐆 Streaming text input: модель кодирует входящие чанки текста и параллельно продолжает diffusion-генерацию акустики по предыдущему контексту.
• 🦾 0.5B и deployment-friendly: LLM Qwen2.5-0.5B плюс эффективный акустический токенизатор с очень низким frame rate 7.5 Hz.
• 🎤 Поддерживает только одного спикера; для мультиспикерных диалогов есть другие модели VibeVoice.
• ✅ Основной язык — английский. Дополнительно заявлены немецкий, французский, итальянский, японский, корейский, нидерландский, польский, португальский и испанский, но результаты в них могут быть непредсказуемыми.

💥 Пример

Подключите модель к потоку токенов LLM: как только приходят первые фрагменты ответа, TTS начинает озвучивать их, не дожидаясь полной генерации. Сценарии из карточки — realtime-озвучка, live-стримы данных и интерактивные ассистенты.

Подробнее

LibriSpeech test-clean: WER 2.00%, speaker similarity 0.695; SEED test-en: WER 2.05%, similarity 0.633.
Генерация до ~10 мин при контексте 8k; требований к VRAM в карточке нет.
Только один спикер и английский; музыка, фоновые звуки, код и формулы не поддерживаются.