Датасет · cais
Бенчмарк Humanity's Last Exam
cais/hle
Мультимодальный бенчмарк из 2500 сложных вопросов по десяткам академических тем.
Что внутри
Это HLE — мультимодальный бенчмарк с 2500 вопросами по десяткам предметов, задуманный как сложный закрытый академический тест на границе человеческих знаний. Включает изображения и текст; создан Center for AI Safety и Scale AI. Авторы просят не публиковать, не перезаливать и не распространять датасет.
Что можно сделать
- Проверка фронтирных мультимодальных LLM
- Оценка сложного академического reasoning
- Сравнение моделей на закрытом бенчмарке
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 56,3 тыс.
- Лайков
- 1,1 тыс.
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("cais/hle")