FireRedTTS3-Instruct-HF
синтез, клонирование и редактирование речи в одном флаконе
2 мин чтенияобновлено
Чекпоинт мультизадачной нейросети от команды FireRedTeam для генерации и обработки речи (TTS — Text-to-Speech), подготовленный для быстрого развёртывания через фреймворк SGLang Omni. Модель объёмом 2.12B параметров основана на FireRedTTS3 (с использованием наработок Qwen3 и Qwen2-Audio) и выдаёт монофоническое аудио с частотой 24 кГц в формате WAV или потоковом PCM. В отличие от обычных синтезаторов, она не только озвучивает текст клонированным или придуманным голосом, но и умеет менять отдельные слова, скорость, высоту тона или громкость прямо в готовой записи. Пригодится разработчикам голосовых ботов, ассистентов и инструментов для дубляжа и постпродакшена звука.
Ключевые особенности
- Клонирование голоса (zero-shot): воспроизводит тембр по одному короткому аудиореференсу и его текстовой расшифровке.
- Дизайн голоса по описанию: создаёт новое звучание без образца — достаточно задать в инструкции возраст, пол, темп и интонацию.
- Семантическое и акустическое редактирование: заменяет конкретные слова в исходной записи (
Replace 'source' with 'target'.), а также меняет скорость, питч и громкость. - Поддержка 10 языков в API: работает с русским, английским, китайским, японским, корейским, немецким, французским, испанским, португальским и итальянским языками.
- Потоковая передача: поддерживает стриминг сырого PCM-потока по HTTP (
/v1/audio/speech) и через WebSocket.
Что можно сделать
- Голосовой ассистент или бот: развернуть локальный OpenAI-совместимый API-сервер через
sgl-omni serveдля озвучки ответов в реальном времени с кастомным тембром. - Правка ошибок в озвучке: исправить оговорку или заменить название в уже записанной реплике длиной до 20 секунд без перезаписи диктора.
- Озвучка персонажей без актёров: сгенерировать разные голоса для диалогов и аудиокниг, описывая характер и манеру речи текстом в поле
instructions.
Пример
curl --fail-with-body -X POST http://localhost:8000/v1/audio/speech \
-H 'Content-Type: application/json' \
-d '{
"model": "FireRedTTS3-Instruct",
"input": "Привет, добро пожаловать в SGLang Omni.",
"language": "Russian",
"task_type": "VoiceDesign",
"instructions": "Спокойный мужской голос, средний темп речи.",
"seed": 42
}' --output voice_design.wav
Подробнее
Требования к железу: Linux с видеокартой NVIDIA (CUDA) и Python 3.12; текущая конфигурация сервинга работает на одном GPU (tp_size=1).Ограничения API: длина текста в HTTP-запросе
input ограничена 400 символами, длительность исходного аудио для редактирования — до 20 секунд.Язык нужно указывать явно (автоопределение
Auto в стандартном API не поддерживается), а для инференса рекомендуется сохранять flow_mode: fp32.Лицензия: открытая Apache-2.0 (клонирование голоса предназначено авторами для исследовательских целей).










Комментарии