Аудиоacidsound
Scylla's Band v4
речь и пение в одной лёгкой модели
2 мин чтенияобновлено
Scylla's Band v4-20261106 от acidsound — локальная TTS-модель, которая синтезирует речь и пение в 14 голосах на 7 языках, включая корейский. Одна flow-модель рендерит оба режима, а декодер выбирается по типу доставки: Vocos для речи и BigVGAN v2 для пения. Есть runtime на C ABI 3.1.0 для Linux, Windows, macOS, iOS, visionOS и Android.
🎷 Ключевые особенности
- 🎷 Речь и пение из одного flow: пение по JSON-партитуре с текстом, нотами и долями, стили pop/ballad, 14 голосов.
- 🌏 Корейский: нормализация чисел, дат и валют, G2P по стандартному произношению, 87-фонемный vocab без переобучения.
- ⚡ Быстрый локальный инференс: C++ runtime на CPU даёт 18.9–42.9× реального времени (RTF 0.02–0.05); 4 Euler steps.
- 🌐 Мультиплатформенность: LiteRT, Core ML, Core AI, ONNX Runtime и standalone WebGPU-демо в браузере.
- 🔬 Проверка: TLA+ 34 276 состояний без нарушений; CTest 16/16 и Pytest 131/131; паритет C++/Python 0.0.
- 🎯 Управление: intensity, pace и pitch от −2 до 2; для фраз менее 4 фонем intensity/pace остаются голосовыми.
🎷 Пример
python -m scyllasband download --flavor litert
python -m scyllasband speak --voice scylla --language ko -o hello_ko.wav '안녕하세요, 오늘 날씨가 정말 좋네요.'
python -m scyllasband sing --voice scylla --language ko --score melodies/phrase_ko_twinkle.json -o twinkle_ko.wav
python serve_webgpu_demo.py --host 0.0.0.0 --port 8000Подробнее
Производительность: на MacBook Pro M5 Max LiteRT CPU — ~34×, Core ML GPU — ~170×; iPhone 17 Pro Max Core ML GPU — ~65×.Качество: CER 0.0% на ключевых корейских фразах по faster-whisper large-v3-turbo.
Ограничения: модель не поёт свободно — нужна JSON-партитура; управление глобальное, без кривых и эмоций; до 512 фонем на граф-предложение.
Железо: локальный CPU/GPU, Apple Core ML/Core AI, LiteRT, ONNX Runtime и WebGPU; отдельных требований к VRAM в карточке нет.
Комментарии