whisper-small-sinhala

Компактная модель для распознавания сингальской речи: openai/whisper-small (0,24 млрд параметров) дообучена на корпусе OpenSLR SLR52. Автор — Aadhil96; задача — транскрибация сингальского аудио.

✨ Ключевые особенности

• 🌍 Язык: сингальский (si), вывод только сингальским письмом.
• 📓 Обучение: 6 000 шагов, batch size 16, learning rate 1e-5, mixed precision, одна NVIDIA T4.
• ✅ На 3 000 отложенных клипах: CER 9,13%, WER 36,47%.
• 🚨 Автор предупреждает: 71% тестовых предложений встречаются в обучающей выборке у других дикторов, поэтому оценки, вероятно, оптимистичны.
• ⏳ Обучение и проверка на клипах до 20 секунд; шум, телефонные звонки и code-switching не тестировались.

💻 Пример

import librosa
from transformers import pipeline
asr = pipeline('automatic-speech-recognition', model='Aadhil96/whisper-small-sinhala', chunk_length_s=30)
audio, _ = librosa.load('clip.wav', sr=16000, mono=True)
result = asr({'raw': audio, 'sampling_rate': 16000}, generate_kwargs={'language': 'sinhala', 'task': 'transcribe'})
print(result['text'])

Подробнее

Бенчмарк: CER 9,13%, WER 36,47%, медианный CER по клипу 6,67%.
Сравнения с базовыми whisper-small и whisper-large-v3 в карточке приведены без fallback-настроек, поэтому их нельзя читать как заявку на прирост.
Ограничения: только сингальский текст без цифр, латиницы и пунктуации; диалекты и разные группы дикторов не оценивались.
Лицензия: CC BY-SA 4.0; базовая модель — Apache 2.0.