Tynda-ASR-kk-ru

Это файнтюн NVIDIA Nemotron-3.5-Transcribe-30B-A4B от Raushan Baisalova (University of Waterloo): к базовой модели добавлен казахский, русский сохранён. Около 33,7 млрд параметров, обучение — на публичных данных, примерно 1470 часов речи.

📝 Ключевые особенности

• 🗣 Казахский и русский в одной ASR-модели; для казахского карточка рекомендует prompt с пунктуацией.
• 📝 LoRA r=64, α=128 на attention, Mamba и MLP-проекциях, плюс полный ASR-encoder и audio projection.
• 👌 Обучение: KSC2 train (~1154 ч), FLEURS kk train (×3), Golos train (~249 ч); тестовые сплиты не использовались.
• 🤔 Сохранены CTC word-timestamps и diarization branch от базовой модели.
• 👍 WER/CER на FLEURS: kk 12,23/4,47%, ru 9,21/6,37%.

⌨ Пример

import base64
from openai import OpenAI
client = OpenAI(base_url='http://127.0.0.1:8000/v1', api_key='EMPTY')
audio = base64.b64encode(open('audio.wav', 'rb').read()).decode()
prompt = 'Audio transcription. Language: Kazakh. Wording: verbatim. Formatting: punctuation and capitalization. Output: transcript only.'
r = client.chat.completions.create(model='tynda', temperature=0, max_tokens=2048,
    messages=[{'role': 'user', 'content': [{'type': 'text', 'text': prompt}, {'type': 'audio_url', 'audio_url': {'url': f'data:audio/wav;base64,{audio}'}}]}])
print(r.choices[0].message.content)

Подробнее

WER/CER на FLEURS test: kk — 12,23/4,47%, ru — 9,21/6,37% (нормализованные метрики).
BF16-веса занимают 63 ГБ; нужен один GPU на 80–141 ГБ (H100 / H200 / RTX PRO 6000).
Ограничения: разговорный казахский с хезитациями, русские данные обучались без пунктуации, числа обычно словами, code-switching отдельно не тренировали.