Dragonfly

Dragonfly — ASR-модель от balasriharsha на базе openai/whisper-large-v3-turbo (809M параметров). Это файнтюн для телугу, хинди и английского, включая речь, где языки смешиваются. Модель пишет так, как люди набирают смешанный текст: английские слова остаются латиницей внутри телугу или хинди, пунктуация сохраняется.

🔥 Ключевые особенности

• 🔥 Fine-tune openai/whisper-large-v3-turbo на 809M параметров.
• 👀 Распознаёт телугу, хинди и английский, включая смешанную речь («Tinglish», «Hinglish»).
• 💪 Английские слова внутри телугу/хинди оставляет в латинице и расставляет пунктуацию.
• 🐱 Для длинных записей pipeline умеет нарезать аудио по 30 с.
• 💸 Веса под MIT, как у базовой модели.

👉 Пример

import torch
from transformers import pipeline

asr = pipeline('automatic-speech-recognition',
    model='balasriharsha/dragonfly',
    torch_dtype=torch.float16, device='cuda')
print(asr('audio.wav', generate_kwargs={'language': 'telugu'})['text'])

Подробнее

WER: телугу held-out — 22.1 (Saaras V4 — 23.1, база — 97.8); хинди-английский MUCS — 26.8 (Saaras — 51.2).
Обучение: 29 092 шага, ~931k клипов, одна NVIDIA L40S, около 25 часов.
Ограничения: числа выводятся словами, нет таймстемпов, только телугу/хинди/английский; индийские имена в английской речи иногда уходят в индийскую письменность (~8% Svarah).