Датасет · EleutherAI
Многоязычный бенчмарк понимания текста LAMBADA
EleutherAI/lambada_openai
Классический тест на предсказание последнего слова в отрывке на пяти европейских языках.
Что внутри
Датасет представляет собой тестовую выборку LAMBADA в предобработке OpenAI, дополненную машинными переводами на немецкий, испанский, французский и итальянский языки помимо оригинального английского. Внутри от 10 до 100 тысяч коротких художественных текстов, где человеку легко угадать финальное слово по общему смыслу отрывка. Используется для проверки того, насколько хорошо языковые модели улавливают широкий контекст.
Что можно сделать
- Оценка способности LLM понимать длинный текстовый контекст на 5 языках
- Сравнение качества языковых моделей на стандартном бенчмарке предсказания слов
- Языки
- Немецкий, Английский, Испанский, Французский, Итальянский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 119,8 тыс.
- Лайков
- 56
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("EleutherAI/lambada_openai")