Аудиоlaion
Humanness Voice Podcast
TTS для многоголосых подкастов
2 мин чтенияобновлено
Humanness Voice Podcast от LAION — полный fine-tune TTS-модели Humaneness Voice Large 1.7 на шаге 9 874, не LoRA. Это ~4,13 млрд параметров в BF16: архитектура MOSS Local Transformer сочетает Qwen-подобный semantic backbone с локальным acoustic transformer и генерирует 12 acoustic codebook tokens на кадр 80 мс. MOSS-v2 codec отдельно рендерит моно-аудио 48 кГц; модель озвучивает сценарий с краткими указаниями по подаче и фиксированными референсными голосами, а пайплайн собирает из реплик подкаст.
👉 Ключевые особенности
- 👉 Полный fine-tune, не LoRA: BF16-веса на ~4,13 млрд параметров (8,26 ГБ), обучение на шаге 9 874.
- 💪 Reference-conditioned TTS: на каждый голос нужен чистый якорь примерно 5–15 секунд; модель говорит ровно по сценарию.
- 🥰 Разрешены короткие inline-указания по подаче — разреженные, спокойные и естественные; стиль одобрен в listening-тесте.
- 👀 Best-of-N на каждый ход: по умолчанию N=4, отбор по genuineness и ECAPA-сходству с референсом; N=1 — один дубль без ранжирования.
- 💸 Пайплайн собирает MP3, субтитры, JSON-таймлайн и listening-страницу; оптимизирован под одну RTX 3090 24 ГБ.
💪 Пример
hf download laion/Humanness-Voice-Podcast --local-dir humanness-podcast
cd humanness-podcast
python3.12 -m venv .venv
source .venv/bin/activate
pip install torch==2.6.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt
python optimized_pipeline/prepare.py
python infer.py --model . --script optimized_pipeline/script-spontaneous-en.json --n 4 --groups 2 --device cuda:0 --output runs/en-best4Подробнее
На RTX 3090 24 ГБ: немецкий N=4 — RTF 0.821, WER 1.98%, genuineness 3.943; английский strict N=4 — RTF 1.013, WER 5.50%.Полные BF16-веса — 8,26 ГБ, но codec, judges, KV-кэши и CUDA graphs требуют дополнительной памяти.
Обучение покрывает английский, немецкий, французский, испанский и нидерландский, но оптимизированный CLI и сравнения сейчас оценивают только английский и немецкий; для обоих рекомендованы одни и те же немецкие референсы.
Качество для остальных языков и голосов не измерено одинаково; strict Best-of-4 может выбрать неполное предложение — в примере это отдельно исправлено.
Комментарии