К содержимому
Датасеты

cais/hle

сложный мультимодальный бенчмарк на границе знаний

2 мин чтения

HLE (Humanity's Last Exam) — это датасет и мультимодальный бенчмарк от организаций Center for AI Safety и Scale AI, предназначенный для оценки предельных возможностей современных нейросетей. Набор данных содержит 2500 сложных вопросов по десяткам академических дисциплин и сочетает в себе текстовые формулировки с изображениями. Бенчмарк задуман как закрытый экзамен на границе человеческих знаний, где стандартные тесты уже не справляются с дифференциацией сильных моделей. Датасет пригодится исследователям и разработчикам LLM и VLM (мультимодальных языковых моделей), которые хотят проверить способность своих систем к глубоким рассуждениям и анализу визуальной информации.

Ключевые особенности

  • 2500 сложных вопросов — задания охватывают десятки различных научных и академических предметов.
  • Мультимодальный формат — записи включают как текст, так и изображения, что позволяет тестировать модели, работающие с визуальным контекстом.
  • Авторитетные создатели — датасет разработан совместно Center for AI Safety и Scale AI.
  • Фокус на защиту от утечек — бенчмарк спроектирован как закрытый академический тест для объективной оценки моделей.

Что можно сделать

  • Оценить LLM и VLM — прогнать собственные или открытые языковые и мультимодальные модели на 2500 сложных задачах, чтобы замерить их потолок рассуждений.
  • Проанализировать ошибки — выявить слабые места мультимодальных систем при решении междисциплинарных вопросов с картинками и текстом.

Пример

from datasets import load_dataset

dataset = load_dataset("cais/hle")
print(dataset)
ПодробнееОбъём: 2500 вопросов (категория размера 1K–10K).
Модальности: текст и изображения (text, image).
Ограничения: авторы просят не публиковать, не перезаливать и не распространять датасет во избежание утечки данных в обучающие выборки.
Обсудить Telegram 1,1 тыс. 59,9 тыс.

О модели

datasets/cais/hle
Автор
cais
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

59,9 тыс.1,1 тыс.

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

FineWeb-Edu

FineWeb-Edu
Датасеты

FineWeb

FineWeb
Датасеты

FinePDFs

FinePDFs