Georgian Whisper Medium MEI

Модель от tabluka90 на базе openai/whisper-medium (~769M параметров), дообученная для распознавания грузинской речи в письменности мхедрули. Это ASR-модель для транскрибации аудио и исследовательских задач, распространяется под Apache 2.0.

🧩 Ключевые особенности

• ⚙ Архитектура Whisper Medium encoder-decoder, задача automatic-speech-recognition.
• 🌐 Язык: грузинский (ka), целевой скрипт — Mkhedruli.
• 🪨 Двухэтапный fine-tuning: чистое аудио, затем канальная аугментация под радио, телефон и шум.
• 💡 В репозитории есть Gradio-интерфейс и CLI для файлов и живой записи с микрофона.
• ⚡ Входное аудио приводится к mono 16 kHz; для быстрого FP16 рекомендуется GPU.

💡 Пример

import torch
from transformers import pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
pipe = pipeline("automatic-speech-recognition",
    model="tabluka90/georgian-whisper-medium-MEI", device=device)
result = pipe("audio.wav", generate_kwargs={"language": "georgian", "task": "transcribe"})
print(result["text"])

Подробнее

WER на held-out: 3,85%, CER: 0,64% (5 830 клипов); на внешнем long-form аудио WER 27,96%, CER 6,09%.
Рекомендуется NVIDIA GPU с ≥6 ГБ VRAM для быстрого FP16; CPU поддерживается, но медленнее.
Ограничения: возможны ошибки на разговорной речи, диалектах, сильном шуме и галлюцинации при тишине.
Обучение: 40 000 шагов, 2×A100 40GB; данные Common Voice v.22.0 и Scripted Speech 26.0.
Stage 1: 116 586 клипов / 2 316 спикеров; Stage 2: 334 062 клипа / 3 146 спикеров.