К содержимому

Датасет · cimec

LAMBADA: предсказание последнего слова

cimec/lambada

Английские нарративы для проверки понимания текста через предсказание последнего слова.

Что внутри

LAMBADA — набор англоязычных нарративных отрывков для задачи предсказания слова. Человек угадывает последнее слово, если видит весь отрывок, но не только последнее предложение. Набор используют для оценки понимания текста языковыми моделями; размер — от 10K до 100K примеров.

Что можно сделать

  • Оценка causal language models на понимании длинного контекста
  • Бенчмарк предсказания слов
  • Сравнение моделей по LAMBADA
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
17,5 тыс.
Лайков
67

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("cimec/lambada")