Humaneness Voice Large 1.7 Singing
экспериментальная модель для генерации пения и речи
1 мин чтенияобновлено
Новая разработка от LAION объединяет возможности голосового синтеза и генерации песен. Модель построена на базе речевого трансформера MOSS-TTS и обучена на огромном массиве данных, включающем песни на английском, немецком, голландском, французском и испанском языках, а также мычание и свист. Адаптер уже слит с базовыми весами BF16, поэтому модель можно загружать стандартным способом. Она подходит для экспериментов со сложным вокалом, интонациями и музыкальными зарисовками.
Ключевые особенности
- Поддержка вокального исполнения и пения на пяти европейских языках
- Способность генерировать не только слова, но и мычание, насвистывание или мелодии без текста
- Общий объём параметров модели составляет 4.13 миллиарда
- Адаптер (LoRA) уже встроен в корневые веса, дополнительная установка не требуется
Что можно сделать
- Сгенерировать короткие вокальные композиции или колыбельные на разных языках
- Создать экспериментальный трек с помощью текстового промпта и файла с инструкциями
- Протестировать генерацию речи со специфическими музыкальными и эмоциональными директивами
Пример
hf download laion/Humaneness-Voice-Large-1.7-Singing-Experimental --local-dir experimental-singing
cd experimental-singing
python -m pip install -r requirements.txt
python infer.py --text "An original short lyric." --prompt-file direction.txt --language en --seconds 20 --output example.wavПодробнее
Архитектура: MOSS-TTS local transformer v1.5Обучение: 3 эпохи на 392,256 примерах с использованием 8 видеокарт GH200
Параметры адаптера: rank/alpha 128 на 146 проекциях внимания
Лицензия: CC BY 4.0










Комментарии