К содержимому

Датасет · ucinlp

DROP: бенчмарк дискретного чтения

ucinlp/drop

96 тыс. вопросов по абзацам для проверки арифметики, счёта и сортировки.

Что внутри

Англоязычный бенчмарк DROP — это 96 тыс. вопросов, созданных краудсорсингом и состязательно. Система должна разрешать ссылки в вопросе, возможно к нескольким местам, и выполнять дискретные операции: сложение, счёт, сортировку. Данные предназначены для reading comprehension и question answering.

Что можно сделать

  • Оценить QA-модель на дискретных операциях
  • Дообучить reading comprehension модель
  • Сравнить LLM на бенчмарке DROP
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
14,6 тыс.
Лайков
72

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ucinlp/drop")