К содержимому
Аудио

AGIWSVoice

TTS и конвертация голоса через один DAC-декодер

2 мин чтения

Исследовательский и инженерный проект для синтеза речи (TTS) и замены голоса, построенный вокруг единственного аудиодекодера DAC из OmniVoice-0.6B. Вместо тяжеловесной языковой модели Qwen3 и 8 дискретных кодбуков здесь используется только декодер: он преобразует латентное представление (сжатое математическое описание звука) размером [T, 256] с частотой 25 кадров в секунду в аудиопоток 24 кГц. Сами латенты формируются и редактируются собственными инструментами на основе фонем, длительностей и кривых тона (F0) и энергии, а также через инверсию реального аудио. Подход убирает задержки оригинальной нестриминговой схемы (где требовалось 32 прохода MaskGIT на фрагмент) и пригодится разработчикам и исследователям аудиомоделей, которым нужен прямой контроль над тембром, интонацией и качеством записи.

Ключевые особенности

  • Отказ от LLM-бэкбона Qwen3 и дискретных кодбуков: используется только PyTorch-декодер DAC для прямого преобразования latent [T, 256] в звук 24 кГц.
  • Инверсия реального аудио позволяет вычислять остаточный сигнал (audio - decode(latent)) и находить артефакты вроде клиппинга, щелчков, гула и потерь сжатия без разметки данных.
  • Клонирование голоса выполняется через усреднённый латент референсной фразы — отдельный speaker encoder для этого не требуется.
  • Блочная архитектура открывает прямой и обратный проход (forward и backward) как через весь пайплайн, так и через отдельные слои (RVQ dequant -> fc2 -> conv1 -> decoder blocks -> conv2).

Что можно сделать

  • Клонировать тембр диктора по короткому референсу или переносить интонацию и содержание одной записи на голос другого человека (speech-to-speech).
  • Точечно править ударения и просодию (интонацию и громкость) с помощью градиентных направлений d(F0, energy) / d(latent).
  • Автоматически выявлять брак в аудиозаписях и переранжировать гипотезы внешнего распознавания речи (ASR) по величине остаточного сигнала.

Пример

Пайплайн преобразования параметров речи в аудио и получения латентов из карточки модели выглядит так:
phonemes + durations + curves (F0 / energy) -> latent [T,256] -> DAC decoder -> 24 kHz
Для анализа или переноса голоса в latent [T,256] также подаётся результат инверсии реального аудио.

ПодробнееЯзыки: русский и английский.
Зависимости и веса: использует PyTorch-веса кодека из agiws/OmniVoice-0.6B (копия agiws/OmniVoice-0.6B-Q8-GGUF-llama.cpp применяется только для сверки тензоров).
Мотивация: оригинальный пайплайн OmniVoice тратил по 142–199 мс на шаг (около 5–6 секунд на фрагмент из-за 32 проходов MaskGIT) и не поддерживал стриминг.
Инфраструктура: тяжёлые вычисления в проекте выносятся на воркер Colab T4 через AGIWS Gateway; проект находится в стадии активной разработки (в репозитории есть src/agiws_voice/, scripts/ и tests/).
Обсудить Telegram 1

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # agiws/AGIWSVoice
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download agiws/AGIWSVoice --local-dir ~/models/AGIWSVoice
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к AGIWSVoice
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии AGIWSVoice — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

agiws/AGIWSVoice
Автор
agiws
Категория
Аудио
Дата выхода
На сайте

На сайте

Hugging Face

01

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии