rumik-oss-1-male
мужские голоса без дообучения
2 мин чтенияобновлено
Независимая исследовательская адаптация модели синтеза речи (TTS) rumik-oss-1 (3.38B параметров) от пользователя Sanyam0605. Оригинальная модель умеет говорить только четырьмя женскими голосами (Ira, Aisha, Siya, Zoya), а эта версия добавляет мужской вариант для каждого из них. Главное отличие — отсутствие классического файнтюна: автор модифицировал поведение модели напрямую через активационный патч из двух векторов (всего 4096 чисел), оставив исходные веса нетронутыми. Пригодится разработчикам и исследователям, изучающим управление генерацией речи (activation steering) и кастомизацию голосов.
Ключевые особенности
- Без градиентов и обучения: мужское звучание получено через разницу средних активаций на слоях 19 и 27, которая подмешивается к выходу MLP-слоёв 18 и 26.
- Гибкое переключение на лету: метод
set_voice()позволяет мгновенно менять пол голоса, возвращаться к оригиналу или регулировать глубину тембра параметромstrength. - Сохранение узнаваемости: классификатор спикеров по признакам WavLM по-прежнему узнаёт исходных дикторов (с вероятностью 0.80–0.97), но с пониженной основной частотой тона (F0 около 103–115 Гц вместо 222–260 Гц).
- Готовый сервер из коробки: в комплектный скрипт
server.pyуже добавлены пресетыIra (male),Aisha (male),Zoya (male)иSiya (male).
Что можно сделать
- Озвучка диалогов одной моделью: переключать
set_voice("male")иset_voice(None)между репликами, чтобы вести беседу мужским и женским голосами без загрузки второй нейросети. - Тонкая настройка тембра: менять силу воздействия (например,
strength=1.5для более глубокого баса или0.7для стабильности голоса Siya) под нужную интонацию персонажа. - Исследование механистической интерпретируемости: использовать код и векторы из файла
voice-patches.safetensorsкак готовый кейс по управлению признаками в речевых моделях.
Пример
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Sanyam0605/rumik-oss-1-male", trust_remote_code=True, dtype="bfloat16").cuda().eval()
model.set_voice("male") # включить мужской вариант голосов
model.set_voice("male", strength=1.5) # сделать тембр ещё глубже
model.set_voice(None) # вернуть исходные женские голоса
Подробнее
Метрики: частота тона F0 снижается с 222–260 Гц до 103–115 Гц, Whisper WER составляет 0.00–0.02 (на 6 тестовых клипах по 2 предложения).Ограничения: для голоса Siya при стандартной силе целым остался только 1 клип из 6 — автор рекомендует снижать
strength до 0.7.Особенности тембра: из-за более высоких формант (F2 ≈ 1800 Гц) голоса могут восприниматься как глубокий тембр при меньшем голосовом тракте.
Лицензия: CC-BY-NC 4.0 (только для исследований и некоммерческого использования, как у базовой модели rumik-oss-1).










Комментарии