К содержимому

Датасет · EleutherAI

Многоязычный бенчмарк понимания текста LAMBADA

EleutherAI/lambada_openai

Классический тест на предсказание последнего слова в отрывке на пяти европейских языках.

Что внутри

Датасет представляет собой тестовую выборку LAMBADA в предобработке OpenAI, дополненную машинными переводами на немецкий, испанский, французский и итальянский языки помимо оригинального английского. Внутри от 10 до 100 тысяч коротких художественных текстов, где человеку легко угадать финальное слово по общему смыслу отрывка. Используется для проверки того, насколько хорошо языковые модели улавливают широкий контекст.

Что можно сделать

  • Оценка способности LLM понимать длинный текстовый контекст на 5 языках
  • Сравнение качества языковых моделей на стандартном бенчмарке предсказания слов
Языки
Немецкий, Английский, Испанский, Французский, Итальянский
Размер
10K–100K записей
Скачиваний за месяц
119,8 тыс.
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("EleutherAI/lambada_openai")