Matoub-4B
TTS для кабильского языка с клонированием голоса
2 min readupdated
Matoub-4B — 4B-параметрическая TTS-модель для кабильского языка (Taqbaylit, kab, латиница) от agbalu. Обучена на 384 960 парах речи из Common Voice Kabyle и синтезирует аудио 24 kHz. Голос задаётся короткой референсной записью и её точным транскриптом; в основе — bosonai/higgs-tts-3-4b с 8-codebook аудиокодеком.
Ключевые особенности
- Голос клонируется по короткой референсной записи; транскрипт должен точно совпадать с произнесённым и оставаться на исходном языке.
- Выход — моно-аудио 24 kHz; 8-codebook кодек передаёт фонологию кабильского, включая спирантизированные, фарингализованные, эмфатические и геминированные согласные.
- Загрузка через Transformers AutoModelForTextToWaveform с trust_remote_code=True.
- Обучение — 384 960 пар из Common Voice 26.0 Kabyle; validation 29 812, test 5 871.
- NF4-квантизация снижает пик памяти с 9.94 GB до 4.57 GB, но на замерах ухудшает произношение и завершение относительно BF16.
- Лицензия — только некоммерческое исследовательское использование, как у базовой модели Boson Higgs TTS 3.
Пример
import soundfile as sf
from transformers import AutoModelForTextToWaveform
model = AutoModelForTextToWaveform.from_pretrained(
"agbalu/Matoub-4B", trust_remote_code=True
).to("cuda").eval()
speech = model.generate(text="Azul fell-awen!", reference_audio="voice.wav", reference_text="exact transcript")
sf.write("speech.wav", speech.waveform[0].numpy(), speech.sampling_rate)
Подробнее
Валидация: 16 utterances, 6 speakers; 15/16 завершились; средний voice cosine 0.881; CER excess 0.045.Память: BF16 — 9.94 GB, NF4 — 4.57 GB (H100 MIG, single-candidate); NF4 может ухудшать произношение и завершение.
Обучение: rank-32 LoRA (alpha 64), 12 030 шагов, final loss 3.8997 nats.
Ограничения: только kab; Tarifit и Tashelhit не покрыты; имена и заимствования могут требовать правок; не для биометрии, имитации личности и safety-critical задач.










Comments