Датасет · ucinlp
DROP: бенчмарк дискретного чтения
ucinlp/drop
96 тыс. вопросов по абзацам для проверки арифметики, счёта и сортировки.
Что внутри
Англоязычный бенчмарк DROP — это 96 тыс. вопросов, созданных краудсорсингом и состязательно. Система должна разрешать ссылки в вопросе, возможно к нескольким местам, и выполнять дискретные операции: сложение, счёт, сортировку. Данные предназначены для reading comprehension и question answering.
Что можно сделать
- Оценить QA-модель на дискретных операциях
- Дообучить reading comprehension модель
- Сравнить LLM на бенчмарке DROP
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 14,6 тыс.
- Лайков
- 72
Модели, обученные на нём
- saytes/SoT_DistilBERTКлассификация текста 45
- nielsr/nt5-small-rc1 26
- AdapterHub/roberta-base-pf-dropВопрос-ответ 20
- Avinash250325/T5BaseQuestionGenerationГенерация текста 19
- AdapterHub/bert-base-uncased-pf-dropВопрос-ответ 14
- UKP-SQuARE/bert-base-uncased-pf-drop-onnxВопрос-ответ 0
- UKP-SQuARE/roberta-base-pf-drop-onnxВопрос-ответ 0
- neopolita/doc-to-lora-ministral-3b-2512Генерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("ucinlp/drop")