Tamil-Whisper Small

Репозиторий skpranav22 содержит LoRA-адаптер и merged-чекпоинты для openai/whisper-small, адаптированные под автоматическое распознавание тамильской речи. Базовая модель — Whisper Small на 244M параметров с 12 слоями энкодера и 12 слоями декодера. Дообучение выполнено через Hugging Face PEFT.

✨ Ключевые особенности

• ✅ LoRA с рангом r=32, alpha=64 и целевыми модулями q_proj, v_proj; обучается около 1,8% параметров.
• 🔥 Собственный нормализатор тамильского текста сохраняет графемы, зависимые гласные, вираму ் и латинские вставки.
• ⭐ На FLEURS ta_in WER снижен с 73,85% до 46,34%, CER — с 25,90% до 13,84%.
• 👀 Доля повторов сократилась с 3,05% до 0,51%.
• 💻 Есть готовый код запуска через transformers и peft.

💻 Пример

from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel

base = "openai/whisper-small"
processor = WhisperProcessor.from_pretrained(base)
model = WhisperForConditionalGeneration.from_pretrained(base)
model = PeftModel.from_pretrained(model, "skpranav22/tamil-whisper-small-lora")
model.eval()

Подробнее

Относительное снижение WER — 37,25%, CER — 46,56%, repetition rate — 83,28% на FLEURS test (591 фраза, 2,13 ч).
Ограничения: агглютинативная морфология завышает WER; остаются ошибки ретрофлексных, зубных и альвеолярных согласных; обучение только на FLEURS ta_in без аугментаций, возможна деградация на разговорной речи, шуме и диалектах.
Speaker-disjoint разбиение не гарантировано: FLEURS не публикует ID говорящих.