Minimax Female Accents
набор LoRA для генерации речи с разными акцентами
2 мин чтения
Этот набор аудионадстроек (LoRA) для базовой модели MiniMax H3 добавляет возможность генерировать женскую речь с различными региональными акцентами. Базовая модель умеет говорить, но её голоса часто звучат нейтрально и плоско, а эти адаптеры делают интонации более выразительными и узнаваемыми. Набор включает такие варианты, как манчестерский, мексиканский, румынский, русский, квебекский и другие акценты. Модель пригодится создателям контента, разработчикам голосовых ботов и авторам роликов, которым нужно разнообразить озвучку.
Ключевые особенности
- Большой выбор акцентов: от британских и американских диалектов до русского и румынского.
- Оптимизированный размер: снижен параметр DIM (размерность скрытого пространства) до 8 для экономии памяти без потери качества звука.
- Изоляция аудио: LoRA затрагивает только звуковую составляющую модели MiniMax H3 и никак не влияет на генерацию видеоряда.
- Гибкая настройка: можно использовать разные веса (рекомендуется от 0.6 до 0.8) и подбирать параметры семплирования.
Что можно сделать
- Озвучить диалоги в видеороликах или анимации с выраженными региональными интонациями персонажей.
- Добавить уникальный британский или русский акцент голосу в интерактивном голосовом боте.
- Разнообразить синтез речи в экспериментальных аудиопроектах с помощью простых текстовых подсказок.
Пример
Для активации нужного акцента просто добавьте фразу в промпт:The woman says [English]Oh, hey.. it's good to see you in a russian accent
Подробнее
Бенчмарки: кастомные датасеты по 22 аудиоклипа на каждый акцент (всего 66 клипов, 20 эпох обучения).Требования к железу: обучение проводилось на 4 видеокартах RTX 3090 с использованием кастомной версии diffusion pipe.
Ограничения: акценты не стоит смешивать в рамках одной генерации для разных персонажей во избежание их слияния.
Детали обучения: автоматическая разметка (captioning) выполнена с помощью Qwen ASR.














Комментарии