Skip to content
Datasets

cais/hle

сложный мультимодальный бенчмарк на границе знаний

2 min read

HLE (Humanity's Last Exam) — это датасет и мультимодальный бенчмарк от организаций Center for AI Safety и Scale AI, предназначенный для оценки предельных возможностей современных нейросетей. Набор данных содержит 2500 сложных вопросов по десяткам академических дисциплин и сочетает в себе текстовые формулировки с изображениями. Бенчмарк задуман как закрытый экзамен на границе человеческих знаний, где стандартные тесты уже не справляются с дифференциацией сильных моделей. Датасет пригодится исследователям и разработчикам LLM и VLM (мультимодальных языковых моделей), которые хотят проверить способность своих систем к глубоким рассуждениям и анализу визуальной информации.

Ключевые особенности

  • 2500 сложных вопросов — задания охватывают десятки различных научных и академических предметов.
  • Мультимодальный формат — записи включают как текст, так и изображения, что позволяет тестировать модели, работающие с визуальным контекстом.
  • Авторитетные создатели — датасет разработан совместно Center for AI Safety и Scale AI.
  • Фокус на защиту от утечек — бенчмарк спроектирован как закрытый академический тест для объективной оценки моделей.

Что можно сделать

  • Оценить LLM и VLM — прогнать собственные или открытые языковые и мультимодальные модели на 2500 сложных задачах, чтобы замерить их потолок рассуждений.
  • Проанализировать ошибки — выявить слабые места мультимодальных систем при решении междисциплинарных вопросов с картинками и текстом.

Пример

from datasets import load_dataset

dataset = load_dataset("cais/hle")
print(dataset)
ПодробнееОбъём: 2500 вопросов (категория размера 1K–10K).
Модальности: текст и изображения (text, image).
Ограничения: авторы просят не публиковать, не перезаливать и не распространять датасет во избежание утечки данных в обучающие выборки.
Discuss Telegram 1.1K 59.9K

About the model

datasets/cais/hle
Author
cais
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

59.9K1.1K

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

FineWeb

FineWeb
Datasets

FinePDFs

FinePDFs