К содержимому

Датасет · macabdul9

Сложный академический бенчмарк без картинок

macabdul9/hle_text_only

Текстовая версия бенчмарка Humanity's Last Exam из 3000 экспертных вопросов по разным наукам для оценки передовых LLM.

Что внутри

Внутри собрано 3 000 закрытых вопросов из десятков областей, включая математику, естественные и гуманитарные науки. Данные составлены профильными специалистами со всего мира при участии Center for AI Safety и Scale AI. В метаданных указаны модальности text и image, но эта сборка представляет собой текстовый вариант (от 1 000 до 10 000 записей).

Что можно сделать

  • Оценка предельных знаний и способности к рассуждениям у сильных LLM
  • Сравнение языковых моделей на сложных мультидисциплинарных задачах без опоры на визуальный ввод
Размер
1K–10K записей
Скачиваний за месяц
36,5 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("macabdul9/hle_text_only")