Skip to content
Audio

AGIWSVoice

TTS и конвертация голоса через один DAC-декодер

2 min read

Исследовательский и инженерный проект для синтеза речи (TTS) и замены голоса, построенный вокруг единственного аудиодекодера DAC из OmniVoice-0.6B. Вместо тяжеловесной языковой модели Qwen3 и 8 дискретных кодбуков здесь используется только декодер: он преобразует латентное представление (сжатое математическое описание звука) размером [T, 256] с частотой 25 кадров в секунду в аудиопоток 24 кГц. Сами латенты формируются и редактируются собственными инструментами на основе фонем, длительностей и кривых тона (F0) и энергии, а также через инверсию реального аудио. Подход убирает задержки оригинальной нестриминговой схемы (где требовалось 32 прохода MaskGIT на фрагмент) и пригодится разработчикам и исследователям аудиомоделей, которым нужен прямой контроль над тембром, интонацией и качеством записи.

Ключевые особенности

  • Отказ от LLM-бэкбона Qwen3 и дискретных кодбуков: используется только PyTorch-декодер DAC для прямого преобразования latent [T, 256] в звук 24 кГц.
  • Инверсия реального аудио позволяет вычислять остаточный сигнал (audio - decode(latent)) и находить артефакты вроде клиппинга, щелчков, гула и потерь сжатия без разметки данных.
  • Клонирование голоса выполняется через усреднённый латент референсной фразы — отдельный speaker encoder для этого не требуется.
  • Блочная архитектура открывает прямой и обратный проход (forward и backward) как через весь пайплайн, так и через отдельные слои (RVQ dequant -> fc2 -> conv1 -> decoder blocks -> conv2).

Что можно сделать

  • Клонировать тембр диктора по короткому референсу или переносить интонацию и содержание одной записи на голос другого человека (speech-to-speech).
  • Точечно править ударения и просодию (интонацию и громкость) с помощью градиентных направлений d(F0, energy) / d(latent).
  • Автоматически выявлять брак в аудиозаписях и переранжировать гипотезы внешнего распознавания речи (ASR) по величине остаточного сигнала.

Пример

Пайплайн преобразования параметров речи в аудио и получения латентов из карточки модели выглядит так:
phonemes + durations + curves (F0 / energy) -> latent [T,256] -> DAC decoder -> 24 kHz
Для анализа или переноса голоса в latent [T,256] также подаётся результат инверсии реального аудио.

ПодробнееЯзыки: русский и английский.
Зависимости и веса: использует PyTorch-веса кодека из agiws/OmniVoice-0.6B (копия agiws/OmniVoice-0.6B-Q8-GGUF-llama.cpp применяется только для сверки тензоров).
Мотивация: оригинальный пайплайн OmniVoice тратил по 142–199 мс на шаг (около 5–6 секунд на фрагмент из-за 32 проходов MaskGIT) и не поддерживал стриминг.
Инфраструктура: тяжёлые вычисления в проекте выносятся на воркер Colab T4 через AGIWS Gateway; проект находится в стадии активной разработки (в репозитории есть src/agiws_voice/, scripts/ и tests/).
Discuss Telegram 1

Will it run?

Working out the memory needs

The bot is still collecting this model's weight sizes; the estimate will appear here in a few minutes. Meanwhile you can rent a GPU with headroom.

Massed ComputeOpen Massed Compute

Run it on Massed Compute

The script downloads the model to the rented machine. How to run it is in the model card.

  1. 1. Rent a machine with a fitting GPU

    Open Massed Compute
  2. 2. Paste the script into the machine's terminal

    Connect over SSH (the Massed Compute panel shows the command) or open a terminal on the machine's desktop.

    HF_TOKEN / CIVITAI_TOKENThe script starts with token lines: paste yours between the quotes. The Hugging Face token is for gated models, the Civitai one for Civitai models.

    # agiws/AGIWSVoice
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download agiws/AGIWSVoice --local-dir ~/models/AGIWSVoice
    # The model is in ~/models. How to run it is in the model card (link above).
    Add more LoRAs to AGIWSVoice
  3. 3. Use it

    The model is in ~/models. How to run it is in the model card (link above).

Stop the machine in the panel when you are done: it bills by the minute while it runs.

How to speed it up

Picked for this model type. Choose your hardware above to see what fits you exactly.

  • FlashAttention 44.0.0b40from November 18, 2026new release

    fastest exact attention on B200

    Kernels for Blackwell (beta). Exact attention without quantisation — fine for everything, LLMs included.

    How to enable: pip install flash-attn-4; vLLM and SGLang pick it up themselves.

    Earlier generations (2)
    • FlashAttention 3 — The Hopper (H100/H200) version with FP8.
    • FlashAttention 2 — The standard for RTX 30/40/50 and A100: exact attention without the memory cost of long contexts.
  • torch.compile2.15.0from October 28, 2026new release

    10–30% for free

    Compiles the model for your GPU. Slower first run, faster afterwards.

    How to enable: model = torch.compile(model); in ComfyUI the TorchCompileModel node.

Model family

New posts about versions of AGIWSVoice (quants, finetunes, LoRAs) will show up under the bell.

No known relatives of this model yet. All derivatives on Hugging Face

About the model

agiws/AGIWSVoice
Author
agiws
Category
Audio
Released
Posted

On NeyroLearn

Hugging Face

01

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments