Ishiki-ASR-0.5
распознавание английской речи на базе NVIDIA Nemotron
2 мин чтенияобновлено
Ishiki-ASR-0.5 — модель автоматического распознавания речи (ASR) от Ishiki Labs Inc., созданная на основе nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Она принимает аудиозаписи на английском языке и возвращает точный текстовый транскрипт. При общем объёме 33.7B параметров модель показывает низкий процент ошибок (WER) на коротких аудиофрагментах, включая сложные акценты и шумные записи. Пригодится разработчикам систем транскрибации, голосовых ассистентов и инструментов аналитики звонков.
Ключевые особенности
- Построена на базе
NVIDIA-Nemotron-3.5-Transcribe-30B-A4Bи насчитывает 33.7B параметров. - Средний уровень ошибок (Mean WER) на 10 публичных датасетах Open ASR Leaderboard составляет 3.18%.
- Уверенно справляется с разными доменами и акцентами: от чистых аудиокниг LibriSpeech (0.58% WER) до индийского английского в Voice Arena Monsoon (2.34% WER).
- При обучении и оптимизации не использовались тестовые наборы из Open ASR Leaderboard.
Что можно сделать
- Встроить в пайплайн расшифровки подкастов, выступлений и финансовых отчётов на английском языке.
- Использовать для транскрибации звонков и встреч с разными акцентами спикеров и фоновым шумом.
- Запустить локально через библиотеку
transformersв форматеbfloat16для офлайн-обработки аудио.
Пример
import soundfile as sf, torch
from transformers import AutoProcessor, Nemotron3_5TranscribeForConditionalGeneration
model_id = "ishiki-labs/ishiki-asr-0.5"
processor = AutoProcessor.from_pretrained(model_id)
model = Nemotron3_5TranscribeForConditionalGeneration.from_pretrained(model_id, dtype=torch.bfloat16, device_map="cuda:0").eval()
wav, sr = sf.read("sample.wav", dtype="float32")
inputs = processor.apply_transcription_request([wav]).to("cuda:0")
print(processor.batch_decode(model.generate(**inputs, max_new_tokens=220)[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])
Подробнее
Бенчмарки (WER): LibriSpeech test-clean — 0.58%, VoxPopuli — 0.90%, TED-LIUM — 1.83%, Common Voice (en) — 3.75%, Mean WER (10 датасетов) — 3.18%.Параметры и железо: 33.7B параметров, в примере запуска используется GPU (
cuda:0) и точность bfloat16.Ограничения и лицензия: модель ориентирована на английский язык (short-form) и распространяется по лицензии NVIDIA Open Model License Agreement (
OpenMDW-1.1).









Комментарии