OmniVoice

OmniVoice — массово многоязычная zero-shot TTS-модель на 0,61 млрд параметров, построенная на базе Qwen3-0.6B. Архитектура в стиле diffusion language model; поддерживает клонирование и дизайн голоса.

🌐 Ключевые особенности

• 🌐 600+ языков — по заявлению авторов, самая широкая поддержка среди zero-shot TTS-моделей.
• 🗣 Zero-shot клонирование голоса по короткому референсному аудио.
• 🎨 Voice design: управление полом, возрастом, высотой тона, диалектом/акцентом, шёпотом и др.
• ⚡ Быстрый инференс: RTF до 0,025 — до 40× быстрее реального времени.
• 🔊 Тонкий контроль: невербальные символы вроде [laughter] и коррекция произношения через пиньинь или фонемы.
• 🧭 Diffusion language model-style архитектура на базе Qwen3-0.6B.

💻 Пример

from omnivoice import OmniVoice
import soundfile as sf
import torch

model = OmniVoice.from_pretrained('k2-fsa/OmniVoice', device_map='cuda:0', dtype=torch.float16)
audio = model.generate(text='Hello, this is a test.', ref_audio='ref.wav', ref_text='Transcription.')
sf.write('out.wav', audio[0], 24000)

Подробнее

RTF до 0,025 — примерно 40× быстрее реального времени.
Аудио на выходе — 24 кГц.
Код — Apache 2.0, веса — CC-BY-NC из-за ограничений обучающих данных (например, Emilia).
Запрещено несанкционированное клонирование голоса и имперсонация.