Датасет · FINAL-Bench
Бенчмарк метапознания LLM
FINAL-Bench/Metacognitive
Проверка, знает ли LLM, чего не знает, и умеет ли исправлять ошибки.
Что внутри
Бенчмарк оценивает функциональную метакогницию LLM: не только точность финального ответа, но и осознание незнания и способность исправлять ошибки. Модальности document и text, язык en, размер n<1K. Задачи text-generation и question-answering.
Что можно сделать
- Проверить LLM на калибровку незнания
- Оценить self-correction в QA-системе
- Сравнить модели по метакогнитивным ошибкам
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 390
- Лайков
- 110
Как загрузить
from datasets import load_dataset
ds = load_dataset("FINAL-Bench/Metacognitive")