Датасет · facebook
Сложный состязательный бенчмарк для логического вывода
facebook/anli
Англоязычный датасет для проверки понимания естественного языка (NLI), собранный с участием людей и моделей.
Что внутри
Масштабный англоязычный набор данных (от 100 тыс. до 1 млн примеров) для задачи классификации логического следования (NLI). Собран итеративным состязательным методом с участием людей и нейросетей в три раунда, в каждом из которых есть выборки train, dev и test. По задумке авторов он заметно сложнее классических бенчмарков SNLI и MNLI.
Что можно сделать
- Оценка устойчивости языковых моделей к сложным логическим ловушкам
- Дообучение классификаторов для проверки фактов и противоречий в тексте
- Сравнение LLM на трудном NLI-бенчмарке от команды Facebook
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 30 тыс.
- Лайков
- 59
Модели, обученные на нём
- MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7Zero-shot классификация 714,4 тыс.
- MoritzLaurer/DeBERTa-v3-base-mnli-fever-anliZero-shot классификация 197,3 тыс.
- MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanliZero-shot классификация 96,3 тыс.
- tasksource/ModernBERT-base-nliZero-shot классификация 43,8 тыс.
- MoritzLaurer/DeBERTa-v3-xsmall-mnli-fever-anli-ling-binaryZero-shot классификация 9,4 тыс.
- tasksource/deberta-small-long-nliZero-shot классификация 9,3 тыс.
- tasksource/ModernBERT-large-nliZero-shot классификация 8,5 тыс.
- vicgalle/xlm-roberta-large-xnli-anliZero-shot классификация 1,9 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/anli")