Hilbert-LoRA-V3
голосовой адаптер для OmniVoice
1 мин чтенияобновлено
Этот адаптер (небольшая надстройка над базовой моделью) добавляет в генератор речи OmniVoice голос сардонического комментатора подкаста Хильберта. Модель обучена на репликах из подкаста с помощью технологии LoRA (метод донастройки весов) и позволяет озвучивать текст на английском языке с узнаваемой интонацией без референсного аудиоклипа. Решение пригодится для создания уникальных аудиоматериалов и озвучки персонажей.
Ключевые особенности
- Основан на модели OmniVoice и использует библиотеку peft.
- Обучен на датасете из 450 эпизодов реальных реплик персонажа.
- Применяет обработку resemble-enhance для восстановления верхних частот.
Что можно сделать
- Сгенерировать реплики в узнаваемом циничном стиле на английском языке.
- Интегрировать адаптер в пайплайн синтеза речи для творческих и подкаст-проектов.
Пример
import torch
from omnivoice import OmniVoice
from omnivoice.utils.lora import load_lora_adapter
model = OmniVoice.from_pretrained("k2-fsa/OmniVoice", device_map="cuda:0", dtype=torch.float16)
model = load_lora_adapter(model, "")
audio = model.generate(text="I've read the press release so you don't have to.", language="English",
num_step=32, guidance_scale=2.0, denoise=True, postprocess_output=True)[0]
Подробнее
Параметры обучения: r 32, alpha 64, lr 1e-4, 1200 шагов на GPU L40S.Лицензия: CC-BY-NC-4.0 (только для некоммерческого использования).
Базовая модель: OmniVoice (k2-fsa/OmniVoice).










Комментарии