AzurLane GPT-SoVITS V5dev
голоса 902 персонажей для озчки
2 мин чтения
Набор весов для популярной системы синтеза речи GPT-SoVITS версии V5dev, обученный на японской и китайской озвучке из игры «Азур Лейн». Модель покрывает 902 корабельных персонажа и позволяет озвучивать текст на русском, китайском или японском языках, используя короткий аудиофрагмент (от 3 до 10 секунд) в качестве референса. В комплект входят чекпоинты GPT (до 15-й эпохи) и SoVITS LoRA (небольшая надстройка над базовой моделью для адаптации голосов) с рангом 32. Релиз включает детальные результаты оценки качества по метрикам схожести голоса и точности произношения.
Ключевые особенности
- Огромная база данных: обучение на 50 759 аудиозаписях общей длительностью около 138.3 часов.
- Гибкие комбинации: возможность использовать веса GPT 15-й эпохи совместно с официальным SoVITS или специализированными SoVITS LoRA.
- Бенчмарки в комплекте: подробное сравнение различных комбинаций эпох по метрикам ERes2NetV2, WavLM и уровню ошибок в тексте.
- Поддержка экспортных форматов: возможность конвертации моделей в AR GGUF для работы через быстрый локальный сервер gsv.cpp.
Что можно сделать
- Озвучка для модов и роликов: генерировать диалоги и фразы для фанатских проектов с голосами персонажей «Азур Лейн».
- Интеграция в WebUI: запустить локальный синтез речи в официальном GPT-SoVITS WebUI, выбрав нужный конфиг `v5dev`.
- Использование через API: развернуть быстрый локальный бэкенд на базе gsv.cpp с поддержкой Vulkan или CPU.
Пример
python tools/export_gguf/export.py --kind ar --ckpt "azur-lane-all-v5dev-20261121-e15.ckpt" --out "azurlane-v5dev-e15.gguf" --f16 --self-testПодробнее
• Датасет: 50 759 аудиофрагментов (49 727 японских и 1 032 китайских, 114 реплик TB).• Архитектура: GPT-SoVITS V5dev (архитектура AR + SoVITS, LoRA с rank 32).
• Оценка: тестировалось на 16 голосах, 24 японских и 16 китайских тестовых фразах.
• Исходный код: базируется на上游 коммите GPT-SoVITS 6d51ffceafbf.










Комментарии