Granary: речь и перевод на 25 языках

Что внутри

Granary — крупный открытый многоязычный речевой датасет для ASR и AST на 25 европейских языках. Он объединяет несколько наборов в единую структуру и закрывает нехватку качественных данных для малоресурсных языков. По карточке, это около 1 млн часов речи; метаданные относят его к размеру 100M<n<1B. Языки включают bg, cs, da, de, el, en и другие.

Что можно сделать

• Обучить мультиязычную ASR-модель для европейских языков.
• Дообучить модель перевода речи (AST).
• Оценить качество ASR на малоресурсных языках.

Модели, обученные на нём

• nvidia/nemotron-3.5-asr-streaming-0.6bРаспознавание речи 539,8 тыс.
• nvidia/parakeet-tdt-0.6b-v3Распознавание речи 529,6 тыс.
• FluidInference/parakeet-tdt-0.6b-v3-coremlРаспознавание речи 315,1 тыс.
• nvidia/canary-1b-v2Распознавание речи 231,8 тыс.
• nvidia/parakeet-tdt-0.6b-v2Распознавание речи

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Granary")