Zipformer-65M-vi-en
двуязычное распознавание вьетнамской и английской речи
2 мин чтения
Офлайн-модель для автоматического распознавания речи (ASR) на вьетнамском и английском языках, обученная с нуля без опоры на готовые предобученные чекпоинты. В основе лежит архитектура Zipformer2 transducer (RNN-T) на базе фреймворков icefall, k2 и lhotse, а итоговый вес около 80,9 млн параметров делает её компактной. На выходе модель выдаёт текст с поддержкой заглавных букв благодаря специальному токену в BPE-словаре. Подойдёт разработчикам, которым нужно локальное распознавание смешанной вьетнамско-английской речи с возможностью инференса через sherpa-onnx.
Ключевые особенности
- Обучена полностью с нуля (случайная инициализация) в четыре этапа: базовое обучение и три последовательных дообучения.
- Компактный размер — 80 931 511 параметров при архитектуре Zipformer2 transducer без вспомогательных CTC- и attention-голов.
- Токенизатор SentencePiece BPE на 8 000 токенов включает специальный токен
для кодирования заглавных букв. - Совместима с экспортом в ONNX и запуском через
sherpa-onnx(в репозитории лежат чекпоинт, модель токенизатора и таблица токенов).
Что можно сделать
- Развернуть локальную офлайн-транскрибацию аудиофайлов на вьетнамском и английском языках через
sherpa-onnx. - Использовать чекпоинт
model.ptкак базовую модель для дальнейшего дообучения (fine-tuning) под свой домен в icefall. - Встроить в голосовые сервисы или ассистенты, где пользователи переключаются между вьетнамским и английским в рамках одной фразы.
Пример
hf download ZAIC26/Zipformer-65M-vi-en model.pt bpe.model tokens.txt \
--local-dir base_models/Zipformer-65M-vi-enПодробнее
Вход: 80-мерные признаки fbank, моно-аудио с частотой дискретизации 16 кГц.Режим работы: только офлайн (non-streaming), без потокового распознавания в реальном времени.
Чекпоинт
model.pt получен усреднением последних 20 эпох финального этапа обучения (эпохи 6–25).Метрики качества (WER/CER) в карточке модели не приведены.










Комментарии