Датасет · nyu-mll
Бенчмарк грамматики английского языка для LLM
nyu-mll/blimp
67 тысяч минимальных пар предложений на английском для проверки знания грамматики языковыми моделями.
Что внутри
Набор данных BLiMP включает 67 поднаборов по 1000 минимальных пар предложений на английском языке, всего от 10K до 100K примеров. Каждая пара изолирует конкретное различие в синтаксисе, морфологии или семантике. Примеры сгенерированы автоматически по правилам грамматики, составленным экспертами.
Что можно сделать
- Оценка лингвистических и грамматических способностей языковых моделей
- Сравнение качества предобученных LLM на тонких синтаксических различиях
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 46,5 тыс.
- Лайков
- 49
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nyu-mll/blimp")