Tara Hinglish Whisper Core ML
Hinglish-транскрипция на Apple Silicon
2 min read
Tara — файнтюн Whisper large-v3 для смешанной хинди-английской речи (Hinglish) от Trelis. Это Core ML-конверсия оригинальных весов для WhisperKit: модель работает полностью на устройстве на Mac с Apple Silicon. Формат изменён, веса остались прежними.
Ключевые особенности
- Смешанный код: хинди остаётся в деванагари, английские слова выводятся латиницей.
- Encoder на GPU, decoder на Neural Engine — так декодер работает быстрее.
- Нужен tokenizer из папки модели: добавлен токен
<|mixedcode|>, словарь расширен до 51 904. - Для mixed-code нужен тонкий wrapper
TextDecodingвокруг штатного decoder, иначе Tara выдаёт только деванагари. - Размеры: AudioEncoder 1.2 GB, TextDecoder 1.7 GB, MelSpectrogram 0.4 MB.
- Подавайте фрагменты до ~18 с: окно 224 токена, деванагари требует около 8 токенов в секунду.
Пример
let compute = ModelComputeOptions(
melCompute: .cpuAndGPU, audioEncoderCompute: .cpuAndGPU,
textDecoderCompute: .cpuAndNeuralEngine)
let kit = try await WhisperKit(WhisperKitConfig(
modelFolder: folder, tokenizerFolder: URL(fileURLWithPath: folder),
computeOptions: compute, load: true, download: false))
Подробнее
Decoder на M1 Pro: ~1.6× длины аудио; Neural Engine 567 с против GPU 978 с для 6 минут аудио.Компиляция encoder на Neural Engine на M1 может занять час и больше.
Проверки точности конвертера прошли при пороге 25 dB PSNR.
Модель медленная; в карточке советуют более быструю Apex-конверсию для повседневного использования.
Лицензия Apache-2.0; credit Trelis и OpenAI.










Comments