Whisper Small Multilingual CS
модель для распознавания смешанной речи
2 мин чтенияобновлено
Файнтюн модели Whisper Small от Jevvellabs, оптимизированный для обработки предложений, в которых смешиваются немецкий, английский, испанский и польский языки (code-switching). Модель сохраняет высокую точность моноязычного распознавания речи (ASR) и не генерирует ложные «галлюцинации» тишины. База обучена на Whisper Small с применением LoRA-адаптеров (небольших надстроек над базовой моделью) на декодере при замороженном аудиоэнкодере. Полезно разработчикам голосовых ассистентов, переводчиков и систем транскрипции для многоязычных пользователей.
Ключевые особенности
- Снижение уровня ошибок (WER) на смешанном коде на 41.4% по сравнению с базовой моделью.
- Улучшенное распознавание технических терминов и специфических названий.
- Сохранение точности на моноязычных данных без значительных регрессий.
- Поддержка форматов Hugging Face Transformers и готового к работе артефакта whisper.cpp GGML F16.
Что можно сделать
- Распознавать аудиозаписи с частым переключением между немецким, английским, испанским и польским языками в одном диалоге.
- Запускать транскрипцию на CPU и мобильных устройствах с помощью готового файла GGML через whisper.cpp.
- Интегрировать модель в пайплайны обработки речи на Python с помощью стандартной библиотеки transformers.
Пример
import torch
from transformers import pipeline
asr = pipeline(
"automatic-speech-recognition",
model="Jevvellabs/whisper-small-cs-de-en-es-pl",
dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
device=0 if torch.cuda.is_available() else -1,
)
result = asr("mixed_de_en_es_pl_audio.wav")
print(result["text"])Подробнее
Бенчмарки: WER на смешанном коде снизился с 31.62% до 18.52%Точность распознавания терминов выросла до 77.08%
Требования к железу: стандартные для модели Whisper Small, доступен файл GGML F16 (465 МБ)
Лицензия: MIT










Комментарии