К содержимому

Датасет · K-and-K

Логические задачи «Рыцари и лжецы» для проверки LLM

K-and-K/knights-and-knaves

Англоязычный бенчмарк с логическими головоломками для оценки навыков рассуждения языковых моделей.

Что внутри

Датасет содержит текстовые логические задачи формата «рыцари и лжецы» на английском языке, разделенные на выборки train и test (например, сплит 2ppl). Общий размер составляет от 1 до 10 тысяч примеров. Авторы также упоминают усложненную версию набора для проверки того, рассуждает ли модель на самом деле или просто запоминает ответы.

Что можно сделать

  • Оценка способности LLM к многошаговым логическим рассуждениям (reasoning)
  • Проверка моделей на переобучение и простое запоминание тестовых данных
  • SFT-дообучение моделей для улучшения навыков решения логических задач
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
2,9 тыс.
Лайков
40

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("K-and-K/knights-and-knaves")