NB-Whisper medium Core ML

Это конвертация NbAiLab/nb-whisper-medium от Национальной библиотеки Норвегии в Core ML для WhisperKit, а не новая модель. Веса и поведение — оригинальные от NbAiLab; формат позволяет запускать распознавание норвежской речи на Apple Neural Engine. Конверсия используется в приложении Sagt для Mac, iPhone и iPad.

🔎 Ключевые особенности

• 🍏 Core ML-формат для WhisperKit: запуск на Apple Neural Engine.
• 🎙 Оригинальные веса и поведение NbAiLab, лицензия Apache 2.0.
• 📌 medium по точности сравним с NB-Whisper large на замерах, но вдвое меньше.
• 🗣 Поддерживает норвежский: no, nb, nn; tokenizer как у openai/whisper-medium.
• ⚙ Конверсия в float16 без квантования; config.json и generation_config.json скопированы без изменений.

💻 Пример

let folder = try await WhisperKit.download(
    variant: "NbAiLab_nb-whisper-medium",
    from: "Selbyggen/nb-whisper-medium-coreml"
)
let kit = try await WhisperKit(WhisperKitConfig(modelFolder: folder.path))
let result = try await kit.transcribe(audioPath: "opptak.m4a",
                                      decodeOptions: DecodingOptions(language: "no"))

Подробнее

WER на реальной норвежской речи: FLEURS nb — 6.5% (large 7.0%), NST — 2.6% (large 2.2%), спонтанная NB Tale — 15.8% (large 17.1%).
На Neural Engine medium показал точность уровня large при вдвое меньшем размере.
Ограничения: только норвежский язык и формат Core ML/WhisperKit; это конверсия, а не новая модель.