Whisper Large-v3 + чилийский LoRA

Это LoRA-адаптер к openai/whisper-large-v3 от HablaIP SpA (проект CORFO 25CH2-306482). Он настроен на спонтанную чилийскую испанскую речь в реальных телефонных разговорах колл-центра: местные выражения, шум линии и живая речь. Обучается примерно 1% параметров базовой модели, остальные веса заморожены.

💪 Ключевые особенности

• 🔥 WER 21.18% против 34.76% у базового Whisper Large-v3 — относительное снижение ошибки на 39%.
• 👀 CER 11.37%; разница статистически значима по bootstrap с группировкой по звонкам.
• 💪 LoRA r=32, alpha=64, dropout=0.05 на q_proj/v_proj в блоках внимания.
• 🐱 Обучение: около 1 800 клипов (~8 часов) реального аудио колл-центра, ручная пословная транскрипция.
• 🤫 Данные приватны; разбиение по целым звонкам, чтобы избежать утечки фрагментов.
• 😐 Ограничение: телефонная чилийская речь колл-центра; другие домены и акценты не охарактеризованы.

🐱 Пример

from transformers import WhisperProcessor, WhisperForConditionalGeneration
from peft import PeftModel
import torch
processor = WhisperProcessor.from_pretrained("openai/whisper-large-v3", language="spanish", task="transcribe")
model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3", torch_dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, "hablaip/whisper-large-v3-chileno-lora").eval()
inputs = processor.feature_extractor(audio, sampling_rate=16000, return_tensors="pt")

Подробнее

WER: 34.76% → 21.18%, CER: 11.37%, относительное снижение ошибки: 39%.
LoRA r=32, alpha=64, dropout=0.05; обучалось ~1% параметров.
Данные: ~1 800 клипов (~8 часов), приватные, транскрипция verbatim.
Ограничение: телефонная чилийская речь колл-центра; другие домены и акценты не охарактеризованы.