Датасет · aps
SuperGLUE: бенчмарк понимания языка
aps/super_glue
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
Что внутри
SuperGLUE — бенчмарк в духе GLUE с более трудными задачами понимания языка: текстуальные импликации, ответы на вопросы, разрешение кореференции и другие. Данные на английском, объём — от 100 тысяч до 1 млн примеров, формат табличный и текстовый. У бенчмарка есть публичный лидерборд.
Что можно сделать
- Оценка LLM и энкодеров на NLU-задачах
- Файнтюн BERT-подобной модели под классификацию и NER
- Сравнение моделей по единому лидерборду
- Задачи
- Классификация текста, Разметка токенов, Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 268,5 тыс.
- Лайков
- 211
Модели, обученные на нём
- tasksource/deberta-small-long-nliZero-shot классификация 10,2 тыс.
- tasksource/deberta-base-long-nliZero-shot классификация 2,2 тыс.
- mradermacher/elythros-decider-1.7b-GGUFZero-shot классификация 871
- samratduttaofficial/WaterSheepZero-shot классификация 96
- Elythros/elythros-decider-4b-expКлассификация текста 72
- zeroMN/SHMTaudio text to text 60
- Elythros/elythros-decider-1.7bКлассификация текста 54
- davidschulte/ESM_super_glue_cb 14
Как загрузить
from datasets import load_dataset
ds = load_dataset("aps/super_glue")