Whisper-large-v3-turbo Korean Dysarthria LoRA
адаптер для распознавания корейской речи с нарушениями
2 мин чтенияобновлено
Этот небольшой PEFT LoRA-модуль (небольшая надстройка над базовой моделью) обучен на корейском корпусе, объединяющем аудиозаписи людей с дизартрией (нарушениями артикуляции) и обычную речь. Базовая модель openai/whisper-large-v3-turbo часто теряет точность на нестандартном произношении или «забывает» обычные паттерны при узкой дообучающей тренировке. Совместное обучение адаптера решает эту проблему, улучшая качество распознавания как у дикторов с речевыми нарушениями, так и у обычных пользователей. Модель пригодится разработчикам голосовых помощников, систем инклюзивной связи и сервисов транскрипции.
Ключевые особенности
- Оптимизирован для корейской речи с моторными и неврологическими нарушениями артикуляции.
- Снижает коэффициент ошибок CER (ошибок на уровне символов) на 86.7% на тестах с дизартрией.
- Улучшает показатели и на обычной речи без деградации базовой производительности.
- Задействует 6.44% параметров базовой модели (около 55.7 млн тренируемых весов).
Что можно сделать
- Интегрировать адаптер в пайплайн обработки аудио для точной транскрипции сложной или неразборчивой речи.
- Использовать для создания доступных инструментов и субтитров для людей с нарушениями речи.
- Объединить веса (merge_and_unload) с базовой моделью Whisper для ускорения инференса в продакшене.
- Протестировать распознавание корейских лекций и аудиозаписей с помощью Python-библиотеки transformers.
Пример
import torch
import torchaudio
from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel
base_model_id = "openai/whisper-large-v3-turbo"
adapter_id = "PL-HFT/whisper-large-v3-turbo-ko-dysarthria-lora"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.float16 if device == "cuda" else torch.float32
processor = WhisperProcessor.from_pretrained(base_model_id, language="Korean", task="transcribe")
base_model = WhisperForConditionalGeneration.from_pretrained(base_model_id, torch_dtype=dtype)
model = PeftModel.from_pretrained(base_model, adapter_id).eval().to(device)
waveform, sr = torchaudio.load("sample.wav")
if sr != 16000:
waveform = torchaudio.functional.resample(waveform, sr, 16000)
inputs = processor.feature_extractor(waveform.mean(dim=0).numpy(), sampling_rate=16000, return_tensors="pt")
input_features = inputs.input_features.to(device=device, dtype=dtype)
predicted_ids = model.generate(input_features, language="Korean", task="transcribe", temperature=0.0)
print(processor.batch_decode(predicted_ids, skip_special_tokens=True)[0])Подробнее
Бенчмарки: общая CER 1.17% (против 2.90% у базы), на дизартрии — 0.59% (против 4.45%).Железо: обучение проводилось на 1x NVIDIA A100 (80GB VRAM) за 10 часов.
Архитектура: PEFT LoRA (r=64, lora_alpha=128), 16 кГц моно аудио до 29.5 секунд.
Ограничения: не является инструментом для клинической диагностики.










Комментарии