mms1b-lid-transformer-pit-fleurs-csfleurs-csyodas

Это ESPnet2-модель от Shunsuke Mitsumori для определения набора языков в переключении кода (CS-LID). Использует frontend facebook/mms-1b (wav2vec2) и transformer encoder/decoder, обучена на FLEURS, CS-FLEURS и CS-YODAS. На выходе — последовательность языковых токенов вроде <ara> <eng>.

✨ Ключевые особенности

• 🌍 Мультиязычная LID: языковые теги из token_list, включая eng, fra, cmn, rus и другие.
• 🧠 Frontend facebook/mms-1b с multilayer features и входом 16 kHz.
• 🎯 PIT-лосс: задача сформулирована как multi-label set prediction.
• ⚙️ Рецепт fleurs_cs_lid в ESPnet2; в примере — checkpoint 18epoch.pth.
• 📊 Exact language-set accuracy на FLEURS — 93.10%.

💻 Пример

exp = "exp/asr_train_mms_transformer_pit_fleurs_csfleurs_csyodas_raw_copy"
speech2text = Speech2Text(
    asr_train_config=f"{exp}/config.yaml",
    asr_model_file=f"{exp}/18epoch.pth",
    beam_size=5, ctc_weight=0.0, lm_weight=0.0, maxlenratio=0.05,
)
speech, rate = soundfile.read("speech.wav")  # 16 kHz
text, *_ = speech2text(speech)[0]  # e.g. "<ara> <eng>"

Подробнее

Точность language-set: FLEURS — 93.10%, CS-FLEURS seen — 73.51%, unseen — 0.01%.
На CS XTTS1 seen — 99.73%, CS MMS seen — 99.60%.
Требования к VRAM в карточке не указаны; пример использует checkpoint 18epoch.pth.
Ограничение: на unseen-парах языков качество падает почти до нуля.