Speed Speak TTS
архитектура и пайплайн для обучения MoE-синтеза речи на Tesla T4
2 мин чтенияобновлено
Speed Speak TTS от разработчика Shrijanagain — это открытый проект и кодовая база для претрейна авторегрессионной TTS-модели (синтеза речи из текста) на одной видеокарте уровня Tesla T4 с 16 ГБ видеопамяти. Модель построена на архитектуре Decoder-only Transformer с блоками MoE (Mixture-of-Experts — смесь экспертов): при общем объёме около 1,006 млрд параметров на каждый токен активируется лишь ~109,6 млн, что снижает нагрузку на железо. На вход подаётся текст и идентификатор диктора или референсное аудио, а на выходе генерируются аудиотокены Meta EnCodec (24 кГц), которые декодируются в WAV-файл. Проект пригодится исследователям и разработчикам, которые хотят с нуля обучить базовую модель синтеза речи или протестировать клонирование голоса на доступных облачных GPU вроде Kaggle и Colab.
Ключевые особенности
- Экономичная MoE-архитектура: 38 слоёв с 32 экспертами SwiGLU и маршрутизацией top-2 — ёмкость модели на уровне 1B при вычислительной стоимости ~100M активных параметров.
- Работа с аудиотокенами EnCodec: предсказание 8 кодовых книг (24 кГц, 75 Гц) за один проход по схеме delay-pattern, аналогичной MusicGen.
- Два режима кондиционирования диктора: выбор по встроенному ID (для датасетов вроде LibriTTS и VCTK) или zero-shot клонирование по референсному аудио через замороженный энкодер ECAPA-TDNN.
- Оптимизация под 16 ГБ VRAM: поддержка fp16, gradient checkpointing и 8-битного оптимизатора AdamW (через bitsandbytes) удерживает потребление памяти при обучении в пределах 12–14 ГБ.
Что можно сделать
- Запустить претрейн своей TTS-модели на T4: подготовить датасет (LibriTTS, Common Voice, Emilia или собственный манифест) и запустить обучение в Google Colab или Kaggle с микро-батчем 4.
- Синтезировать речь и клонировать голос: генерировать озвучку из текста по готовому чекпоинту с настройкой силы стилизации через CFG (Classifier-Free Guidance) и передачей короткого образца голоса в
--ref-audio. - Адаптировать под нужный язык: обучить собственный byte-level BPE-токенизатор на текстовом корпусе (по умолчанию поддерживается английский и хинди, но базовая байтовая кодировка работает с любыми символами).
Пример
python -m speedspeak.infer --text "Hello from Speed Speak." \
--ref-audio ref.wav --out out.wavПодробнее
Параметры: ~1,006B всего / ~109,6M активных (38 слоёв, d_model=512, 8 голов внимания).Требования: ~12–14 ГБ VRAM (влезает в Tesla T4 16 ГБ при fp16 и 8-bit AdamW); есть smoke-тест на CPU.
Ограничения: это база для претрейна — для уровня коммерческих систем автор отмечает необходимость дообучения на 50k–200k часах аудио и перехода на более свежие кодеки (DAC, Mimi).










Комментарии