AGIWSVoice
TTS и конвертация голоса через один DAC-декодер
2 min read
Исследовательский и инженерный проект для синтеза речи (TTS) и замены голоса, построенный вокруг единственного аудиодекодера DAC из OmniVoice-0.6B. Вместо тяжеловесной языковой модели Qwen3 и 8 дискретных кодбуков здесь используется только декодер: он преобразует латентное представление (сжатое математическое описание звука) размером [T, 256] с частотой 25 кадров в секунду в аудиопоток 24 кГц. Сами латенты формируются и редактируются собственными инструментами на основе фонем, длительностей и кривых тона (F0) и энергии, а также через инверсию реального аудио. Подход убирает задержки оригинальной нестриминговой схемы (где требовалось 32 прохода MaskGIT на фрагмент) и пригодится разработчикам и исследователям аудиомоделей, которым нужен прямой контроль над тембром, интонацией и качеством записи.
Ключевые особенности
- Отказ от LLM-бэкбона Qwen3 и дискретных кодбуков: используется только PyTorch-декодер DAC для прямого преобразования
latent [T, 256]в звук 24 кГц. - Инверсия реального аудио позволяет вычислять остаточный сигнал (
audio - decode(latent)) и находить артефакты вроде клиппинга, щелчков, гула и потерь сжатия без разметки данных. - Клонирование голоса выполняется через усреднённый латент референсной фразы — отдельный speaker encoder для этого не требуется.
- Блочная архитектура открывает прямой и обратный проход (forward и backward) как через весь пайплайн, так и через отдельные слои (
RVQ dequant -> fc2 -> conv1 -> decoder blocks -> conv2).
Что можно сделать
- Клонировать тембр диктора по короткому референсу или переносить интонацию и содержание одной записи на голос другого человека (speech-to-speech).
- Точечно править ударения и просодию (интонацию и громкость) с помощью градиентных направлений
d(F0, energy) / d(latent). - Автоматически выявлять брак в аудиозаписях и переранжировать гипотезы внешнего распознавания речи (ASR) по величине остаточного сигнала.
Пример
Пайплайн преобразования параметров речи в аудио и получения латентов из карточки модели выглядит так:phonemes + durations + curves (F0 / energy) -> latent [T,256] -> DAC decoder -> 24 kHz
Для анализа или переноса голоса в latent [T,256] также подаётся результат инверсии реального аудио.
Подробнее
Языки: русский и английский.Зависимости и веса: использует PyTorch-веса кодека из
agiws/OmniVoice-0.6B (копия agiws/OmniVoice-0.6B-Q8-GGUF-llama.cpp применяется только для сверки тензоров).Мотивация: оригинальный пайплайн OmniVoice тратил по 142–199 мс на шаг (около 5–6 секунд на фрагмент из-за 32 проходов MaskGIT) и не поддерживал стриминг.
Инфраструктура: тяжёлые вычисления в проекте выносятся на воркер Colab T4 через AGIWS Gateway; проект находится в стадии активной разработки (в репозитории есть
src/agiws_voice/, scripts/ и tests/).









Comments