whisper-large-v3-turbo-decoder-ane-int8
быстрый декодер Whisper для Apple Neural Engine
2 мин чтенияобновлено
Текстовый декодер модели распознавания речи openai/whisper-large-v3-turbo, сконвертированный в формат Core ML с квантованием int8 (сжатием весов для экономии памяти и ускорения) для работы на нейропроцессоре Apple Neural Engine. Модель создана автором raymondchins для диктовки на Mac и заменяет только текстовый декодер в связке с аудиоэнкодером и токенизатором из сборки WhisperKit от Argmax. В отличие от стандартного декодера WhisperKit, который обрабатывает по одному токену за вызов, эта версия хранит KV-кэш (промежуточные вычисления внимания) в состоянии Core ML и читает до 64 токенов за раз. Пригодится разработчикам приложений для macOS, которым нужно быстрое локальное распознавание речи без лишнего расхода памяти.
Ключевые особенности
- Снижает время обработки одного токена на чипе M5 Max с 6.1 мс до 2.5 мс по сравнению со стандартным декодером WhisperKit.
- Хранит KV-кэш внутри
MLStateи записывает данные через one-hot матрицы, благодаря чему операции выполняются на Neural Engine без отката на CPU. - Занимает всего 185 МБ для самого декодера (плюс около 134 МБ на файлы эмбеддингов в float16), сохраняя оригинальные веса OpenAI без дообучения.
- Содержит три функции (
cross,mainиstep), разделяющие общее состояниеMLState, и поддерживает до 224 токенов на один фрагмент записи.
Что можно сделать
- Интегрировать как компонент
TextDecodingв проекты на базе WhisperKit для ускорения локальной диктовки и голосового ввода на Mac. - Использовать в компактных оффлайн-приложениях для транскрибации речи на устройствах Apple Silicon, где важен небольшой размер модели (в пару к сборке WhisperKit на 547 МБ).
Пример
Для запуска загрузите decoder.mlmodelc трижды с настройкой computeUnits = .cpuAndNeuralEngine и параметром MLModelConfiguration.functionName для функций cross, main и step. Создайте единое состояние через main.makeState(), передавайте его в каждый вызов (сначала cross для выхода энкодера, затем main для пакета до 64 токенов и step для генерации по одному токену), а файлы embed_tokens.f16 и embed_positions.f16 подключите через memory-mapping.
Подробнее
Бенчмарк на M5 Max: 2.5 мс на токен против 6.1 мс у WhisperKit; медиана обработки целого фрагмента (p50) снизилась с ~557 мс до ~503 мс (в 11 из 12 тестов текст полностью совпал с версией fp16).Требования: компьютер Mac на базе Apple silicon с macOS 15 или новее (требуется поддержка Core ML state).
Ограничения: максимум 224 токена на один проход вместе с промптом; заменяет только декодер и требует совместимый энкодер из сборки
openai_whisper-large-v3-v20240930_547MB.Лицензия: MIT (оригинальные веса OpenAI).










Комментарии