羲和 HeliosLM ASR TW v5

Это ASR-модель на базе openai/whisper-large-v3, дообученная для тайваньского мандаринского (вывод традиционным китайским) и тайваньского хоккиен (иероглифами). Около 1,55 млрд параметров, архитектура Whisper large-v3, лицензия Apache-2.0. Позиционируется как речевой компаньон к helioslm-chat-e4b.

💪 Ключевые особенности

• 👉 База — openai/whisper-large-v3; дообучение под zh-TW и nan-tw.
• 🍒 Около 1,55B параметров, Apache-2.0.
• 👀 Обучение только на публичных данных: Common Voice 27.0, FLEURS cmn, AISHELL-1.
• 💪 1 эпоха, lr 7e-6, 4 776 шагов; веса слиты с базой 0.85/0.15.
• 🤫 Хоккиен пока слабый: только иероглифы, без Tâi-lô; возможны ошибки.

👀 Пример

from transformers import pipeline
asr = pipeline('automatic-speech-recognition',
               model='chienhsinlin/helioslm-asr-tw-v5',
               chunk_length_s=30)
print(asr('audio.wav', generate_kwargs={'language': 'zh', 'task': 'transcribe'})['text'])

Подробнее

CER, самооценка: CV zh-TW 5,10 против 15,25 у базы; FLEURS cmn 7,33 против 7,54; CV nan-tw (иероглифы) 38,15 против 231,13; сырые транскрипты 86,29 против 121,57.
Требования к VRAM не указаны. Ограничения: хоккиен только иероглифами, без Tâi-lô; важные расшифровки стоит проверять.