Датасет · AmazonScience
MASSIVE: интенты и слоты на 51 языке
AmazonScience/massive
Более 1M фраз на 51 языке с разметкой интентов и слотов для NLU в голосовых ассистентах.
Что внутри
MASSIVE — параллельный датасет высказываний на 51 языке. Разметка включает 60 интентов и 55 типов слотов для задач предсказания интента и аннотации слотов. Создан путём локализации SLURP — набора одношаговых взаимодействий с голосовым ассистентом. В карточке заявлено более 1 млн высказываний; метаданные дают диапазон 100K–1M.
Что можно сделать
- Обучение NLU-модели для голосового ассистента
- Проверка мультиязычного интент-детектора
- Дообучение XLM-R или mBERT на слотах и интентах
- Задачи
- Классификация текста
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 11 тыс.
- Лайков
- 104
Модели, обученные на нём
- jaredpalmer/kev-27bКлассификация текста 3,2 тыс.
- OpenSML/OpenSML-JSONLite-175MГенерация текста 2,3 тыс.
- wzebrowski/OpenSML-JSONLite-175MГенерация текста 1,8 тыс.
- mradermacher/kev-27b-GGUFmultiple choice 1,8 тыс.
- mradermacher/elf-1-31b-GGUF 1,1 тыс.
- mradermacher/bobcat-flash-1.2-GGUF 1,1 тыс.
- mradermacher/elf-1-12b-GGUF 999
- furkanbekmezci/turkextract-turkish-information-extractionРазметка токенов 575
Как загрузить
from datasets import load_dataset
ds = load_dataset("AmazonScience/massive")