Humaneness Voice Large 1.7 Acting LoRA r128
актёрская озвучка с паузами и эмоциями
2 мин чтенияобновлено
Команда LAION выпустила нативный LoRA-адаптер (небольшую обучаемую надстройку над основной моделью) с рангом 128 для модели синтеза речи Humaneness Voice Large 1.7 (архитектура MOSS-TTS и локальный Talker). Адаптер превращает обычный синтезатор в актёра озвучки: модель учится передавать сложные эмоции, монолог от лица персонажа, физическое напряжение, невербальные реакции вроде вздохов и точные паузы по таймингам. Поддерживаются пять разговорных языков — английский, немецкий, испанский, французский и нидерландский, а также бессловесная вокализация. Инструмент пригодится разработчикам игр, создателям аудиоспектаклей и исследователям выразительного TTS.
Ключевые особенности
- Разметка сценария через блоки
GENERALиSCRIPT: можно задавать общую подачу, эмоции в скобках, длительность фраз, паузы в секундах и невербальные события (например, вздох). - Клонирование голоса по короткому референсу: достаточно чистой записи одного диктора длиной от 5,04 до 14,96 секунды, либо можно использовать встроенные псевдонимы голосов и генерацию без референса.
- Нативный формат для MOSS-TTS: это не LLaMA-чекпоинт и не стандартный PEFT-адаптер — в репозитории лежит собственный загрузчик, код обучения и 152 572 тренировочных примера с токенами.
- Без вокала: обучение фокусировалось исключительно на разговорной актёрской игре, песни и музыкальные примеры намеренно исключены.
Что можно сделать
- Озвучивать реплики персонажей в играх и визуальных новеллах с управлением интонацией, паузами и эмоциональными переходами прямо в тексте сценария.
- Клонировать тембр конкретного актёра по 5–15-секундному сэмплу и генерировать выразительные монологи на английском, немецком, французском, испанском или нидерландском.
- Исследовать управляемый синтез речи: в комплекте есть готовые скрипты оценки, тестовый набор на 40 эмоций для нейтрального текста и полные манифесты данных.
Пример
hf download laion/Humaneness-Voice-Large-1.7-Acting-LoRA-r128 --local-dir hv17-acting-r128
cd hv17-acting-r128 && python -m pip install -r requirements.txt
python download_base.py
python make_eval_cases.py --modality imaginary_monologue --language en --count 5 --output cases.jsonl
python infer_adapter.py --cases cases.jsonl --output outputs/my_voice --mode reference --reference-wav speaker.wav --limit 5
Подробнее
Обучение: 3 эпохи (шаг 14 304) на 8 GPU GH200; 96 337 920 обучаемых параметров (rank 128, alpha 128 на 146 проекциях внимания), 152 572 уникальных примера.Железо: требуется GPU с CUDA и Python 3.11+ (в продакшене использовался Python 3.13); в качестве консервативной отправной точки указана видеокарта с 80 ГБ VRAM.
Ограничения: авторы предупреждают, что завершение обучения не гарантирует прироста метрик качества, а новый пакет перед запуском прошёл проверку только на CPU; старый адаптер rank-32 из базового репозитория подключать нельзя.
Лицензия: CC BY 4.0 (с обязательным указанием авторства LAION).










Комментарии