К содержимому

Датасет · facebook

Сложный состязательный бенчмарк для логического вывода

facebook/anli

Англоязычный датасет для проверки понимания естественного языка (NLI), собранный с участием людей и моделей.

Что внутри

Масштабный англоязычный набор данных (от 100 тыс. до 1 млн примеров) для задачи классификации логического следования (NLI). Собран итеративным состязательным методом с участием людей и нейросетей в три раунда, в каждом из которых есть выборки train, dev и test. По задумке авторов он заметно сложнее классических бенчмарков SNLI и MNLI.

Что можно сделать

  • Оценка устойчивости языковых моделей к сложным логическим ловушкам
  • Дообучение классификаторов для проверки фактов и противоречий в тексте
  • Сравнение LLM на трудном NLI-бенчмарке от команды Facebook
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
30 тыс.
Лайков
59

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("facebook/anli")