К содержимому

Датасет · hails

Задачи на логику LogiQA из бенчмарка AGIEval

hails/agieval-logiqa-en

Англоязычная подвыборка логических задач LogiQA из бенчмарка AGIEval от Microsoft для оценки рассуждений LLM.

Что внутри

Внутри находятся тексты заданий на логическое мышление из англоязычной части LogiQA, входящей в состав бенчмарка AGIEval. В датасете меньше тысячи записей на английском языке, взятых из официального репозитория Microsoft на GitHub и обработанных по аналогии с другими наборами AGIEval.

Что можно сделать

  • Оценка способности языковых моделей к логическим рассуждениям (reasoning)
  • Сравнение LLM на стандартном бенчмарке AGIEval
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
20 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("hails/agieval-logiqa-en")