CzechSpeech

CzechSpeech — модель распознавания чешской речи от Moravian AI на базе Whisper large-v3-turbo. Это файнтюн на 0,81 B параметров, который транскрибирует парламентскую, читаную и зашумлённую речь точнее открытых моделей сопоставимого размера. В 4-битном кванте модель занимает 452 MiB и работает офлайн на ноутбуке или обычном телефоне.

⭐ Ключевые особенности

• ✅ WER 1,8% на парламентском тесте, 7,3% на FLEURS и 6,5% на шумных сегментах.
• 💻 Есть файлы для transformers (16-bit) и whisper.cpp: q5_0 — 547 MiB, q4_0 — 452 MiB.
• 📞 На Pixel 9a q4_0 обрабатывает 6,9 с речи за 2,7 с, пик RAM — 0,83 ГБ.
• 🔥 На ноутбуке с RTX 4050 q5_0 занимает 0,89 ГБ GPU-памяти и работает примерно в 25 раз быстрее реального времени.
• ⭐ Обучена на 1 503 ч чешской речи, включая ParCzech4Speech; оценка без спикеров из теста и валидации.

💻 Пример

import torch
from transformers import WhisperForConditionalGeneration, WhisperProcessor

processor = WhisperProcessor.from_pretrained("moravianai/CzechSpeech")
model = WhisperForConditionalGeneration.from_pretrained("moravianai/CzechSpeech", dtype=torch.float16).to("cuda")
features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features.to("cuda", torch.float16)
ids = model.generate(features, language="cs", task="transcribe")
print(processor.batch_decode(ids, skip_special_tokens=True)[0])

Подробнее

WER: парламент — 1,8%, FLEURS — 7,3%, шум — 6,5%; у базовой Whisper large-v3-turbo — 9,5 / 11,4 / 29,5%.
4-битный q4_0 занимает 452 MiB; на Pixel 9a пик RAM — 0,83 ГБ, на RTX 4050 q5_0 — 0,89 ГБ GPU-памяти.
Ограничения: в основном формальная парламентская речь; нет таймстемпов, перевода и диаризации; сегменты длиннее 30 с нужно делить.
Лицензия двойная: бесплатно для некоммерческого использования по CC BY-NC 4.0, коммерческая — по запросу в Moravian AI.