Датасет · hails
Задачи на логику LogiQA из бенчмарка AGIEval
hails/agieval-logiqa-en
Англоязычная подвыборка логических задач LogiQA из бенчмарка AGIEval от Microsoft для оценки рассуждений LLM.
Что внутри
Внутри находятся тексты заданий на логическое мышление из англоязычной части LogiQA, входящей в состав бенчмарка AGIEval. В датасете меньше тысячи записей на английском языке, взятых из официального репозитория Microsoft на GitHub и обработанных по аналогии с другими наборами AGIEval.
Что можно сделать
- Оценка способности языковых моделей к логическим рассуждениям (reasoning)
- Сравнение LLM на стандартном бенчмарке AGIEval
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 20 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("hails/agieval-logiqa-en")