Tara Hinglish Whisper Core ML

Tara — файнтюн Whisper large-v3 для смешанной хинди-английской речи (Hinglish) от Trelis. Это Core ML-конверсия оригинальных весов для WhisperKit: модель работает полностью на устройстве на Mac с Apple Silicon. Формат изменён, веса остались прежними.

⚡ Ключевые особенности

• 💬 Смешанный код: хинди остаётся в деванагари, английские слова выводятся латиницей.
• 🖥 Encoder на GPU, decoder на Neural Engine — так декодер работает быстрее.
• 📌 Нужен tokenizer из папки модели: добавлен токен <|mixedcode|>, словарь расширен до 51 904.
• ⚠ Для mixed-code нужен тонкий wrapper TextDecoding вокруг штатного decoder, иначе Tara выдаёт только деванагари.
• 📊 Размеры: AudioEncoder 1.2 GB, TextDecoder 1.7 GB, MelSpectrogram 0.4 MB.
• ⌛ Подавайте фрагменты до ~18 с: окно 224 токена, деванагари требует около 8 токенов в секунду.

💻 Пример

let compute = ModelComputeOptions(
  melCompute: .cpuAndGPU, audioEncoderCompute: .cpuAndGPU,
  textDecoderCompute: .cpuAndNeuralEngine)
let kit = try await WhisperKit(WhisperKitConfig(
  modelFolder: folder, tokenizerFolder: URL(fileURLWithPath: folder),
  computeOptions: compute, load: true, download: false))

Подробнее

📊 Decoder на M1 Pro: ~1.6× длины аудио; Neural Engine 567 с против GPU 978 с для 6 минут аудио.
⌛ Компиляция encoder на Neural Engine на M1 может занять час и больше.
✔ Проверки точности конвертера прошли при пороге 25 dB PSNR.
⚠ Модель медленная; в карточке советуют более быструю Apex-конверсию для повседневного использования.
📌 Лицензия Apache-2.0; credit Trelis и OpenAI.