Arabic Instrumental YuE2 LoRA
ближневосточный фьюжн без вокала
2 min readupdated
Адаптер LoRA (небольшая надстройка над базовой моделью) для музыкальной нейросети YuE2-3B от автора akbargherbal, который генерирует полноценные инструментальные композиции в стиле ближневосточного фьюжна без пения. В отличие от базовой версии и родственных вокальных адаптеров, модель управляется подробным описанием инструментов и аранжировки, сохраняя структуру целой песни. Подойдёт музыкантам, саунд-дизайнерам и энтузиастам генеративного аудио, которым нужны кинематографичные восточные треки.
Ключевые особенности
- Чистый инструментал без триггер-слов: генерирует партии скрипки, кеманчи с микротоновыми бендами, уда, дарбуки, таблы, дудука, кануна и гитар без вокальной дорожки.
- Управление структурой через теги: вместо текста песни в блок
[Lyrics]передаются только теги секций ([intro],[verse],[chorus],[bridge],[outro]), а промпт начинается с фразыMiddle Eastern fusion, instrumental. - Два отдельных эксперта: в комплект входят веса для композитора AR (
arabic-instrumental-ar.safetensors) и рендерера NAR (arabic-instrumental-nar.safetensors) с рангом 32 в формате bf16. - Запуск через audio.cpp: адаптер сконвертирован специально для GGUF-рантайма
0xShug0/audio.cppв связке сaudio-cpp/Yue2-3B-GGUF, а не для библиотекиtransformers.
Что можно сделать
- Создать драматичный или танцевальный саундтрек длительностью от 2,5 до 8 минут для видео, игр или подкастов в
audio.cpp. - Смешивать этот адаптер с вокальным
arabmaqamrock-yue2-lora, чтобы балансировать между инструментальными проигрышами и макам-роком.
Пример
--session-option yue2.ar_lora=arabic-instrumental-ar.safetensors
--session-option yue2.ar_lora_scale=1.0
--session-option yue2.nar_lora=arabic-instrumental-nar.safetensors
--session-option yue2.nar_lora_scale=1.0
--session-option yue2.attention=flash
--request-option cot=off
Подробнее
Обучение: 5500 шагов (3 ч 36 мин на A100-SXM4-80GB) на датасете из 482 инструментальных треков (36,6 часа).В тестах чекпоинт стабильно дотягивает генерацию до лимита 260 секунд против 114,7 секунды у базовой модели.
Ограничения: лицензия CC-BY-NC-4.0 (строго некоммерческое использование), статус экспериментальной сборки.
Из-за особенностей авторазметки датасета в редких случаях могут проскакивать вокальные артефакты.










Comments