Drone Transcripter 4

Drone Transcripter 4 — это Whisper large-v3-turbo на 809M параметров, полностью дообученный Drone Academy под египетский арабский. Приоритет — лекции и учебная речь, затем повседневная речь, MSA и переключение арабский/английский. Есть checkpoint для transformers и ggml для whisper.cpp.

🤓 Ключевые особенности

• 📝 Полный fine-tune базовой openai/whisper-large-v3-turbo; 809M параметров.
• 🗣 Фокус на египетском арабском: лекции, бытовая речь, MSA и code-switching с английским.
• ⌨ Два формата: HF checkpoint для transformers и ggml для whisper.cpp; q5_0 весит 574 МБ и в 2,8× меньше f16.
• 👍 На отложенных египетских лекциях WER 10.2 против 64.0 у базовой модели.
• 🤝 Лицензия Apache-2.0, как у базовой модели.

⌨ Пример

from transformers import pipeline
asr = pipeline("automatic-speech-recognition", model="AbdelrhmanX2/drone-transcripter-4", device="cuda")
print(asr("clip.wav", generate_kwargs={"language": "ar", "task": "transcribe"})["text"])

Подробнее

WER: 10.2 на отложенных лекциях (база — 64.0), 15.3 на MGB-3 Egyptian, 10.5 на FLEURS ar_eg.
Доп. метрики: 90.1% корректных английских слов внутри арабской речи, 91.7% чисел.
Обучение: 329,5 ч аудио, 75 390 клипов, 2 эпохи, 4 712 шагов, одна A100-40GB (~3,5 ч).
Ограничения: хуже на бытовой речи и шумных звонках (Casablanca WER 40.2); вывод без пунктуации, арабской графикой, английские слова — латиницей.