Датасет · cais
Очищенный бенчмарк из 1000 сложных мультимодальных вопросов
cais/hle-diamond
Отобранное и проверенное сообществом подмножество из 1000 вопросов бенчмарка Humanity's Last Exam.
Что внутри
Датасет представляет собой мультимодальный набор текстовых и визуальных вопросов от Center for AI Safety и Scale AI. В него вошли 1000 вопросов, прошедших годовую очистку и доработку при участии исследовательского сообщества. Авторы просят не распространять и не перезаливать эти данные публично для сохранения честности оценки.
Что можно сделать
- Тестирование мультимодальных LLM на предельно сложных задачах
- Сравнение рассуждающих моделей на очищенном эталонном бенчмарке
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 8,3 тыс.
- Лайков
- 65
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("cais/hle-diamond")