К содержимому

Датасет · nyu-mll

Бенчмарк грамматики английского языка для LLM

nyu-mll/blimp

67 тысяч минимальных пар предложений на английском для проверки знания грамматики языковыми моделями.

Что внутри

Набор данных BLiMP включает 67 поднаборов по 1000 минимальных пар предложений на английском языке, всего от 10K до 100K примеров. Каждая пара изолирует конкретное различие в синтаксисе, морфологии или семантике. Примеры сгенерированы автоматически по правилам грамматики, составленным экспертами.

Что можно сделать

  • Оценка лингвистических и грамматических способностей языковых моделей
  • Сравнение качества предобученных LLM на тонких синтаксических различиях
Задачи
Классификация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
46,5 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nyu-mll/blimp")