EmbeddingGemma-2 Khmer ASR

Nukthean выпустил ASR-модель на ~324,8M параметров для кхмерского языка. Она объединяет 12-слойный Conformer audio tower из google/embeddinggemma-2 и 6-слойный Transformer CTC Reader. Размер весов — около 620 МБ в safetensors.

➕ Ключевые особенности

• 🔤 Компактная архитектура: ~324,8M параметров, 582 кхмерских subword-токена.
• 1⃣ CER 3,91% на Digital Divide Data (3 648 клипов, 8,60 ч) и exact match 29,6%.
• 2⃣ На unseen-домене FLEURS test CER 15,85%, WER 29,28%.
• 3⃣ Длинное аудио автоматически нарезается окнами по 30 секунд через chunk_seconds.
• ➖ Лицензия Apache 2.0; есть standalone-модуль embeddinggemma_asr.py.

▶ Пример

import torch
from embeddinggemma_asr import load_model, transcribe

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model, units = load_model('Nukthean/embeddinggemma-2-khmer-asr', device=device)
text = transcribe(model, units, 'sample.wav')
print(text)

Подробнее

CER 3,91% на DDD и 15,85% на FLEURS test; WER на FLEURS test — 29,28%.
Нужен 16 kHz mono; вывод без пунктуации, числа — кхмерскими словами, английские слова транскрибируются кхмерскими символами.
Обучение: 6 800 шагов на DDD, затем 1 000 шагов joint multi-domain; на 2× NVIDIA Tesla T4 по 15 ГБ.
Лицензия Apache 2.0.