Аудиоrudra11
vaakku-whisper-small
LoRA-адаптер для индийской речи
1 мин чтения
Это LoRA-адаптер для распознавания многоязычной речи на базе openai/whisper-small от автора rudra11. Поддерживает тамильский, телугу, хинди, каннада и малаялам; обучен через Hugging Face PEFT на google/fleurs.
🔥 Ключевые особенности
- 🎤 Пять языков: ta, te, hi, kn, ml.
- 🦾 LoRA-адаптер, а не полный fine-tune: rank 16, alpha 32, dropout 0.05, target-модули
q_projиv_proj. - ✅ База —
openai/whisper-small; обучение в bf16. - 📉 Оценка на
google/fleurs: micro WER 0.3553, micro CER 0.2966; macro WER 0.3189, macro CER 0.2460. - 🧘 Репозиторий содержит PEFT-адаптер и processor, а не слитые веса Whisper.
🎤 Пример
from peft import PeftModel
from transformers import WhisperForConditionalGeneration, WhisperProcessor
base = WhisperForConditionalGeneration.from_pretrained('openai/whisper-small')
model = PeftModel.from_pretrained(base, 'rudra11/vaakku-whisper-small')
processor = WhisperProcessor.from_pretrained('rudra11/vaakku-whisper-small')Подробнее
Лучше всего по WER: каннада — 0.2153, хинди — 0.2430, тамильский — 0.2366; хуже всего малаялам — WER 0.6046.Micro WER 0.3553 и micro CER 0.2966; macro WER 0.3189 и macro CER 0.2460.
Требования к VRAM/железу в карточке не указаны. Это исследовательский/демонстрационный адаптер, не production и не SOTA; языки вне пяти указанных не поддерживаются.
Комментарии