VieNeu-TTS v3 Turbo
быстрая система синтеза речи
2 мин чтенияобновлено
VieNeu-TTS v3 Turbo — это следующее поколение открытой системы синтеза и клонирования речи для вьетнамского языка, созданной с нуля. Модель поддерживает мгновенное клонирование голоса по короткому аудиофрагменту (3–8 секунд), стабильное чтение в реальном времени с задержкой первого аудио от 115 мс, а также экспериментальные невербальные сигналы и эмоции, такие как смех или вздохи. Решение оптимизировано для работы как на потребительских видеокартах (через PyTorch с батчингом), так и на обычных CPU через ONNX Runtime. Инструмент подойдет разработчикам голосовых ассистентов, создателям контента для подкастов, аудиокниг и роликов в социальных сетях.
Ключевые особенности
- 25 встроенных голосов — стабильные пресеты для трех основных диалектных регионов с разной окраской.
- Экстремальная скорость — RTF около 0.02 в батч-режиме на GPU RTX 3060 и до 16 параллельных стримов.
- Эмоциональные теги — поддержка встроенных подсказок вида [cười] (смех) или [thở dài] (вздох) прямо в тексте.
- OpenAI-совместимое API — готовый сервер для легкой интеграции через стандартные SDK и инструменты вроде LiveKit.
- Поддержка LoRA — возможность дообучения на собственные голоса и стили чтения с помощью скриптов.
Что можно сделать
- Сгенерировать профессиональную озвучку для подкастов, лекций или видеороликов с помощью встроенных пресетов голоса.
- Клонировать любой голос по короткой 3–8 секундной аудиозаписи с автоматическим шумоподавлением.
- Развернуть собственный локальный речевой сервер со стримингом по стандарту OpenAI SDK.
- Дообучить модель (Fine-tuning) на уникальный стиль речи с помощью встроенных LoRA-скриптов.
Пример
from vieneu import Vieneu
vieneu = Vieneu()
audio = vieneu.infer("[cười] Xin chào các bạn, đây là tổng hợp giọng nói tự nhiên!", voice="Hải Đăng")
vieneu.save(audio, "output.wav")
Подробнее
• Частота дискретизации: 48 кГц (высокое качество звука)• Производительность: RTF ≈ 0.01–0.02 на GPU, RTF ≈ 0.5 на CPU
• Требования: потребительский GPU (рекомендуется для максимального ускорения) или CPU
• Архитектура: кодек MOSS-Audio-Tokenizer-Nano и фонимизатор sea-g2p










Комментарии