К содержимому

Датасет · cais

Очищенный бенчмарк из 1000 сложных мультимодальных вопросов

cais/hle-diamond

Отобранное и проверенное сообществом подмножество из 1000 вопросов бенчмарка Humanity's Last Exam.

Что внутри

Датасет представляет собой мультимодальный набор текстовых и визуальных вопросов от Center for AI Safety и Scale AI. В него вошли 1000 вопросов, прошедших годовую очистку и доработку при участии исследовательского сообщества. Авторы просят не распространять и не перезаливать эти данные публично для сохранения честности оценки.

Что можно сделать

  • Тестирование мультимодальных LLM на предельно сложных задачах
  • Сравнение рассуждающих моделей на очищенном эталонном бенчмарке
Размер
1K–10K записей
Скачиваний за месяц
8,3 тыс.
Лайков
65
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("cais/hle-diamond")