jssaluja/indicconformer-stream-72-23
CTC-ASR для Gurbani на пенджабском
1 min read
Это CTC-файнтюн претрейненного энкодера AI4Bharat IndicConformer для пенджабского (pan) с новым 512-piece Gurbani SentencePiece (BPE) словарём и CTC-головой. Модель обучена на приватной речи Punjabi Gurbani и предназначена для распознавания паатха и киртана из Sri Guru Granth Sahib. В сети 115 392 018 параметров.
Ключевые особенности
- Архитектура: IndicConformer encoder + новая 1×1 convolution-голова, CTC loss.
- Новый 512-piece Gurbani SentencePiece (BPE) словарь; blank id — 512.
- Дообучение end-to-end на 183 161 строке; финальные веса — среднее последних 5 эпох.
- На eval: WER 0.5651, CER 0.2349, NCER 0.1939.
- Не transformers-checkpoint:
pipeline()не загрузит; выход — сырой акустический текст.
Пример
import torch, sentencepiece as spm
from huggingface_hub import hf_hub_download
from nemo.collections.asr.models import ASRModel
repo = 'jssaluja/indicconformer-stream-72-23-sggs-ncer-train-183161-epochs-21-test-2200'
state = torch.load(hf_hub_download(repo, 'final/model.pt'), map_location='cpu')
sp = spm.SentencePieceProcessor(model_file=hf_hub_download(repo, 'final/gurbani_512.model'))
base = ASRModel.restore_from(hf_hub_download('ai4bharat/indicconformer_stt_pa_hybrid_ctc_rnnt_large', 'indicconformer_stt_pa_hybrid_rnnt_large.nemo'), map_location='cpu')
base.encoder.load_state_dict(state['encoder'])
head = torch.nn.Conv1d(base.cfg.encoder.d_model, 513, 1)
Подробнее
WER 0.5651, CER 0.2349, NCER 0.1939 на eval.Только kirtan (631 строка): WER 0.6160, CER 0.2981, NCER 0.2876.
115 392 018 параметров; не transformers-checkpoint,
pipeline() не загрузит.Для CPU-инференса есть int8 ONNX-экспорт
jssaluja/sggs-asr-indic-v0-onnx.Выход — сырой акустический текст, его нужно сверять с реальным Gurbani.










Comments