Canary 1B v2 OpenVINO fp16

Это fp16-экспорт nvidia/canary-1b-v2 в OpenVINO IR: сеть разделена на энкодер FastConformer с фиксированным окном 12 с и декодер, выдающий по одному токену за вызов. Вариант сделан для vinoWhisper — живых субтитров и диктовки на CPU и GPU. Поддерживаются 25 языков, включая русский и украинский.

💪 Ключевые особенности

• 💪 Два IR-графа: энкодер получает log-mel [1, 1201, 128] и маску [1, 1201]; декодер работает со статическими формами и внешним KV-кэшем.
• 👉 Веса хранятся в fp16; для Intel NPU в карточке рекомендована отдельная int8-версия.
• 👀 25 языков, токенизатор базовой модели не изменён.
• 😳 Не drop-in для transformers или OpenVINO GenAI: нужен свой цикл декодирования.
• 😐 В fmask надо передавать len(audio) // 160 реальных кадров, иначе качество декодирования падает.

👀 Пример

Экспорт обоих графов запускается командой из карточки:

uv run scripts/export_canary.py

Подробнее

По замерам в карточке для окна 12 с: CPU — 1,65 с (4 потока), iGPU Intel Xe3 — 0,71 с, NPU — 0,75 с.
Экспорт трассирован из CanaryForConditionalGeneration; расхождение логитов с generate() — в пределах 1e-3 (замерено 1e-4).
Ограничения: фиксированное окно 12 с, нужен внешний драйвер цикла, репозиторий не аффилирован с NVIDIA.
Лицензия базовой модели — CC-BY-4.0.