OmniVoice
zero-shot TTS на 600+ языков
1 min readupdated
OmniVoice — массово многоязычная zero-shot TTS-модель на 0,61 млрд параметров, построенная на базе Qwen3-0.6B. Архитектура в стиле diffusion language model; поддерживает клонирование и дизайн голоса.
Ключевые особенности
- 600+ языков — по заявлению авторов, самая широкая поддержка среди zero-shot TTS-моделей.
- Zero-shot клонирование голоса по короткому референсному аудио.
- Voice design: управление полом, возрастом, высотой тона, диалектом/акцентом, шёпотом и др.
- Быстрый инференс: RTF до 0,025 — до 40× быстрее реального времени.
- Тонкий контроль: невербальные символы вроде [laughter] и коррекция произношения через пиньинь или фонемы.
- Diffusion language model-style архитектура на базе Qwen3-0.6B.
Пример
from omnivoice import OmniVoice
import soundfile as sf
import torch
model = OmniVoice.from_pretrained('k2-fsa/OmniVoice', device_map='cuda:0', dtype=torch.float16)
audio = model.generate(text='Hello, this is a test.', ref_audio='ref.wav', ref_text='Transcription.')
sf.write('out.wav', audio[0], 24000)
Подробнее
RTF до 0,025 — примерно 40× быстрее реального времени.Аудио на выходе — 24 кГц.
Код — Apache 2.0, веса — CC-BY-NC из-за ограничений обучающих данных (например, Emilia).
Запрещено несанкционированное клонирование голоса и имперсонация.










Comments