Датасет · lucasmccabe
Задачи на логику с экзамена госслужащих Китая (на английском)
lucasmccabe/logiqa
Англоязычный сборник задач на логическое мышление и критический анализ для оценки способностей моделей к рассуждению.
Что внутри
Набор состоит из задач на логическое понимание, взятых из открытых вопросов Национального экзамена на государственную службу Китая. В репозитории представлено от 1 до 10 тысяч примеров формата question-answering только на английском языке (оригинальная китайская версия доступна на сайте проекта). Вопросы изначально разработаны для проверки критического мышления и навыков решения проблем.
Что можно сделать
- Бенчмаркинг логического вывода и рассуждений (reasoning) у LLM
- SFT моделей для решения задач на критическое мышление
- Оценка качества ответов в формате выбора варианта или question-answering
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 4,2 тыс.
- Лайков
- 42
Модели, обученные на нём
- tasksource/deberta-small-long-nliZero-shot классификация 9,3 тыс.
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8 тыс.
- sileod/deberta-v3-large-tasksource-nliZero-shot классификация 1,8 тыс.
- tasksource/deberta-base-long-nliZero-shot классификация 1,4 тыс.
- sileod/deberta-v3-xsmall-tasksource-nliZero-shot классификация 240
- rudranshjoshi/circuit 96
- saytes/SoT_DistilBERTКлассификация текста 45
- ITLL/deberta-v3-base-tasksource-nliZero-shot классификация 41
Как загрузить
from datasets import load_dataset
ds = load_dataset("lucasmccabe/logiqa")