Датасет · macabdul9
Сложный академический бенчмарк без картинок
macabdul9/hle_text_only
Текстовая версия бенчмарка Humanity's Last Exam из 3000 экспертных вопросов по разным наукам для оценки передовых LLM.
Что внутри
Внутри собрано 3 000 закрытых вопросов из десятков областей, включая математику, естественные и гуманитарные науки. Данные составлены профильными специалистами со всего мира при участии Center for AI Safety и Scale AI. В метаданных указаны модальности text и image, но эта сборка представляет собой текстовый вариант (от 1 000 до 10 000 записей).
Что можно сделать
- Оценка предельных знаний и способности к рассуждениям у сильных LLM
- Сравнение языковых моделей на сложных мультидисциплинарных задачах без опоры на визуальный ввод
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 36,5 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("macabdul9/hle_text_only")