К содержимому
Аудио

Whisper-large-v3-turbo Korean Dysarthria LoRA

адаптер для распознавания корейской речи с нарушениями

2 мин чтенияобновлено

Этот небольшой PEFT LoRA-модуль (небольшая надстройка над базовой моделью) обучен на корейском корпусе, объединяющем аудиозаписи людей с дизартрией (нарушениями артикуляции) и обычную речь. Базовая модель openai/whisper-large-v3-turbo часто теряет точность на нестандартном произношении или «забывает» обычные паттерны при узкой дообучающей тренировке. Совместное обучение адаптера решает эту проблему, улучшая качество распознавания как у дикторов с речевыми нарушениями, так и у обычных пользователей. Модель пригодится разработчикам голосовых помощников, систем инклюзивной связи и сервисов транскрипции.

Ключевые особенности

  • Оптимизирован для корейской речи с моторными и неврологическими нарушениями артикуляции.
  • Снижает коэффициент ошибок CER (ошибок на уровне символов) на 86.7% на тестах с дизартрией.
  • Улучшает показатели и на обычной речи без деградации базовой производительности.
  • Задействует 6.44% параметров базовой модели (около 55.7 млн тренируемых весов).

Что можно сделать

  • Интегрировать адаптер в пайплайн обработки аудио для точной транскрипции сложной или неразборчивой речи.
  • Использовать для создания доступных инструментов и субтитров для людей с нарушениями речи.
  • Объединить веса (merge_and_unload) с базовой моделью Whisper для ускорения инференса в продакшене.
  • Протестировать распознавание корейских лекций и аудиозаписей с помощью Python-библиотеки transformers.

Пример

import torch
import torchaudio
from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel

base_model_id = "openai/whisper-large-v3-turbo"
adapter_id = "PL-HFT/whisper-large-v3-turbo-ko-dysarthria-lora"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.float16 if device == "cuda" else torch.float32

processor = WhisperProcessor.from_pretrained(base_model_id, language="Korean", task="transcribe")
base_model = WhisperForConditionalGeneration.from_pretrained(base_model_id, torch_dtype=dtype)
model = PeftModel.from_pretrained(base_model, adapter_id).eval().to(device)

waveform, sr = torchaudio.load("sample.wav")
if sr != 16000:
    waveform = torchaudio.functional.resample(waveform, sr, 16000)

inputs = processor.feature_extractor(waveform.mean(dim=0).numpy(), sampling_rate=16000, return_tensors="pt")
input_features = inputs.input_features.to(device=device, dtype=dtype)

predicted_ids = model.generate(input_features, language="Korean", task="transcribe", temperature=0.0)
print(processor.batch_decode(predicted_ids, skip_special_tokens=True)[0])
ПодробнееБенчмарки: общая CER 1.17% (против 2.90% у базы), на дизартрии — 0.59% (против 4.45%).
Железо: обучение проводилось на 1x NVIDIA A100 (80GB VRAM) за 10 часов.
Архитектура: PEFT LoRA (r=64, lora_alpha=128), 16 кГц моно аудио до 29.5 секунд.
Ограничения: не является инструментом для клинической диагностики.
Обсудить Telegram 0 18

Запустится ли?

Запустится в F16

Влезает без сжатия.

  • F16веса 1.7 GB · готовые файлы2.4 GB
  • FP8 / INT8рекомендуемвеса 1.0 GB1.6 GB
  • 4-bitвеса 0.6 GB1.2 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Это LoRA: вместе с базовой моделью whisper-large-v3-turbo.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # PL-HFT/whisper-large-v3-turbo-ko-dysarthria-lora
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download openai/whisper-large-v3-turbo --local-dir ~/models/whisper-large-v3-turbo
    hf download PL-HFT/whisper-large-v3-turbo-ko-dysarthria-lora --local-dir ~/models/whisper-large-v3-turbo-ko-dysarthria-lora
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к whisper-large-v3-turbo
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Нужна базовая модель

openai/whisper-large-v3-turbo

Эта модель — LoRA / адаптер. Сначала скачайте базовую модель, затем подключите к ней эту.

  1. whisper-large-v3основа семьи
  2. whisper-large-v3-turbo
  3. whisper-large-v3-turbo-ko-dysarthria-lora

Новые посты про версии whisper-large-v3 — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 3Все на Hugging Face

О модели

PL-HFT/whisper-large-v3-turbo-ko-dysarthria-lora
Автор
PL-HFT
Категория
Аудио
Дата выхода
На сайте

На сайте

Hugging Face

180

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии