Датасет · K-and-K
Логические задачи «Рыцари и лжецы» для проверки LLM
K-and-K/knights-and-knaves
Англоязычный бенчмарк с логическими головоломками для оценки навыков рассуждения языковых моделей.
Что внутри
Датасет содержит текстовые логические задачи формата «рыцари и лжецы» на английском языке, разделенные на выборки train и test (например, сплит 2ppl). Общий размер составляет от 1 до 10 тысяч примеров. Авторы также упоминают усложненную версию набора для проверки того, рассуждает ли модель на самом деле или просто запоминает ответы.
Что можно сделать
- Оценка способности LLM к многошаговым логическим рассуждениям (reasoning)
- Проверка моделей на переобучение и простое запоминание тестовых данных
- SFT-дообучение моделей для улучшения навыков решения логических задач
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 40
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("K-and-K/knights-and-knaves")