Soriya-ASR-Khmer-325M

Модель автоматического распознавания речи для кхмерского языка (km) от Nukthean. Она объединяет 12-слойную Conformer-аудиобашню Google EmbeddingGemma-2 и 6-слойный Transformer CTC Reader. Около 324.8M параметров, инференс-файл model.pt — примерно 652 MB; лицензия Apache 2.0.

🔍 Ключевые особенности

• 🎯 CTC-ASR только для кхмерского, словарь на 582 субтокена.
• ⚙ Архитектура: Conformer-аудиобашня EmbeddingGemma-2 (d=1024) + 6-слойный Transformer CTC Reader (d=512, 8 голов).
• 💻 Компактный размер: ~324.8M п��раметров и ~652 MB для инференса.
• ⏱ Длинные записи автоматически нарезаются на окна по 30 секунд.
• 🛡 Обучение: сначала на Digital Divide Data, затем joint multi-domain с замороженным Conformer и weight soup Reader (α=0.60).
• ℹ Ограничения: без пунктуации, числа — кхмерскими словами, английские слова — фонетически кхмерским письмом.

💻 Пример

import torch
from soriya_asr import load_model, transcribe

device = "cuda" if torch.cuda.is_available() else "cpu"
model, units = load_model("Nukthean/soriya-asr-khmer-325m", device=device)
text = transcribe(model, units, "sample.wav")
print(text)

Подробнее

CER 3.91% и WER 10.31% на стратифицированной выборке Digital Divide Data (8.60 ч, 3648 клипов); exact match 29.6%.
На unseen FLEURS test CER 15.85%, WER 29.28% (khmercut), exact match 3.2%.
Обучение шло на двух Tesla T4 (2×15 GB VRAM) в Kaggle; ин��еренс тестировали на CPU в PyTorch FP32.
Нужен 16 kHz mono; пунктуация не генерируется, числа выводятся как произнесённые кхмерские слова, английские слова — кхмерской фонетикой.