Whisper large-v3 Core ML (8-bit)
локальная расшифровка речи на устройствах Apple в два раза легче
2 мин чтенияобновлено
Это конвертация известной модели распознавания речи openai/whisper-large-v3 в формат Core ML для фреймворка WhisperKit. Веса модели квантованы в 8 бит (сжаты для ускорения и экономии памяти), благодаря чему она работает на Apple Neural Engine и занимает около 1,56 ГБ вместо 3,1 ГБ у обычной версии float16. Модель решает задачу локальной транскрибации (перевода аудио в текст) без отправки записей в облако, сохраняя точность оригинала. Пригодится разработчикам приложений под macOS, iOS и iPadOS, которым нужно быстрое и качественное распознавание речи прямо на устройстве.
Ключевые особенности
- Компактный размер: общий вес около 1,56 ГБ (648 МБ кодировщик аудио и 910 МБ текстовый декодер), что вдвое меньше версии float16.
- Высокая скорость на Mac: средний показатель RTF (время обработки на секунду аудио) составляет 0,21 против 0,55 у версии float16.
- Почти без потери точности: средний уровень ошибок WER по 10 тестовым наборам — 8,0 % против 7,9 % у оригинальной версии float16.
- Готовность к продакшену: модель уже используется в приложении Sagt для Mac, iPhone и iPad.
Что можно сделать
- Встроить локальный диктофон или расшифровку голосовых заметок в приложения для iPhone, iPad и Mac через библиотеку WhisperKit.
- Добавить офлайн-транскрибацию созвонов, интервью и подкастов на английском, немецком, нидерландском, испанском и французском языках без затрат на облачные API.
Пример
let folder = try await WhisperKit.download(
variant: "openai_whisper-large-v3_8bit",
from: "Selbyggen/whisper-large-v3-coreml"
)
let kit = try await WhisperKit(WhisperKitConfig(modelFolder: folder.path))
let result = try await kit.transcribe(audioPath: "recording.m4a")
Подробнее
Средний WER по 10 наборам (FLEURS и VoxPopuli для en, de, nl, es, fr): 8,0 % (против 7,9 % у float16 и 8,7 % у large-v3 turbo).Скорость: средний RTF на Mac — 0,21 (ниже — быстрее; у float16 — 0,55).
Квантование: линейное симметричное int8 по каналам через coremltools (веса 8 бит, активации 16 бит, мел-спектрограмма в float16).
Совместимость: устройства Apple с поддержкой Core ML / Apple Neural Engine через WhisperKit; лицензия Apache 2.0.










Комментарии