Whisper Large v3 Turbo Turkish

Это турецкая модель распознавания речи от yusufblbl / Verasist на базе selimc/whisper-large-v3-turbo-turkish (0,81 млрд параметров), которая, в свою очередь, происходит от OpenAI Whisper Large v3 Turbo. Модель дообучена LoRA; в репозитории есть объединённые веса и отдельный адаптер в adapter/. Ориентирована на транскрибацию турецкой речи.

🔥 Ключевые особенности

• 🔥 LoRA на q_proj и v_proj: rank 32, alpha 64, dropout 0,05; 6 553 600 обучаемых параметров.
• 📚 Обучение на 73 778 записях (~74,86 ч), валидация — 1 884 записи (~1,91 ч).
• ✅ Лучший checkpoint — 4-й раунд, шаг 2000: validation WER 7,5895% против 11,9936% у базовой модели.
• 💻 Обучение шло на RTX 4060 Ti 8 GB в BF16, batch 2 и gradient accumulation 8.
• 🎙 Это не streaming-система: подавайте короткие фрагменты, лучше 16 kHz mono; для длинных записей нужны VAD и нарезка.

💻 Пример

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
model_id = "yusufblbl/whisper-large-v3-turbo-turkish-verasist"
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, use_safetensors=True)
processor = AutoProcessor.from_pretrained(model_id)
asr = pipeline("automatic-speech-recognition", model=model, tokenizer=processor.tokenizer,
               feature_extractor=processor.feature_extractor, device=0)
result = asr("ses.wav", generate_kwargs={"language": "turkish", "task": "transcribe"})
print(result["text"])

Подробнее

Валидационный WER: 7,5895% (база — 11,9936%) на собственном сплите; это не общий бенчмарк и не независимый тест.
Тестовый набор из 1 973 записей (~2 ч) ещё не оценён; WER в FP16 и на объединённом пакете отдельно не пересчитывался.
Модель не streaming; на тишине и шуме возможны галлюцинации, а имена, числа и диалекты требуют отдельных проверок.