krama-asr-khmer-v1
гибридная ASR-модель для распознавания кхмерской речи
1 мин чтения
Модель krama-asr-khmer-v1 размером 345M параметров решает задачу автоматического распознавания речи (ASR) для кхмерского языка. Архитектура объединяет аудиобашню Google EmbeddingGemma-2 Conformer, CTC Reader и причинный кластерный декодер (causal cluster decoder). Набор обучен на 854.59 часах кхмерских аудиоданных из семи доменов с использованием словаря из 3,072 токенов. Модель подходит для расшифровки коротких и средних аудиофрагментов на кхмерском языке с высокой скоростью работы на CPU и GPU.
Ключевые особенности
- База: Google EmbeddingGemma-2 с 12-слойной аудиобашней Conformer (d=1024).
- Объём данных: Обучение на 349,305 клипах общей продолжительностью более 854 часов.
- Два метода декодирования: Быстрый greedy CTC (по умолчанию) или Beam-5 с причинным декодером.
- Эффективность: Высокая скорость обработки (около 0.05x RTF на обычном CPU).
Что можно сделать
- Распознавание речи: Транскрибировать аудиозаписи на кхмерском языке в текст с помощью Python-скрипта.
- Интеграция: Встроить модель в пайплайны обработки аудиоданных и локальные сервисы.
Пример
import torch
from krama_asr import load_model, transcribe
device = "cuda" if torch.cuda.is_available() else "cpu"
model, tokens = load_model("Nukthean/krama-asr-khmer-v1", device=device)
# Быстрый greedy CTC (по умолчанию)
text = transcribe(model, tokens, "sample.wav")
print(text)Подробнее
• Бенчмарки: CER от 2.04% до 7.12% в зависимости от тестового набора.• Требования к железу: Поддержка CPU и GPU (включая bf16 смешанную точность).
• Ограничения: Требуется моно-аудио 16 кГц; числительные выводятся прописью; пробелы между словами минимальны.










Комментарии