cais/hle
сложный мультимодальный бенчмарк на границе знаний
2 min read
HLE (Humanity's Last Exam) — это датасет и мультимодальный бенчмарк от организаций Center for AI Safety и Scale AI, предназначенный для оценки предельных возможностей современных нейросетей. Набор данных содержит 2500 сложных вопросов по десяткам академических дисциплин и сочетает в себе текстовые формулировки с изображениями. Бенчмарк задуман как закрытый экзамен на границе человеческих знаний, где стандартные тесты уже не справляются с дифференциацией сильных моделей. Датасет пригодится исследователям и разработчикам LLM и VLM (мультимодальных языковых моделей), которые хотят проверить способность своих систем к глубоким рассуждениям и анализу визуальной информации.
Ключевые особенности
- 2500 сложных вопросов — задания охватывают десятки различных научных и академических предметов.
- Мультимодальный формат — записи включают как текст, так и изображения, что позволяет тестировать модели, работающие с визуальным контекстом.
- Авторитетные создатели — датасет разработан совместно Center for AI Safety и Scale AI.
- Фокус на защиту от утечек — бенчмарк спроектирован как закрытый академический тест для объективной оценки моделей.
Что можно сделать
- Оценить LLM и VLM — прогнать собственные или открытые языковые и мультимодальные модели на 2500 сложных задачах, чтобы замерить их потолок рассуждений.
- Проанализировать ошибки — выявить слабые места мультимодальных систем при решении междисциплинарных вопросов с картинками и текстом.
Пример
from datasets import load_dataset
dataset = load_dataset("cais/hle")
print(dataset)Подробнее
Объём: 2500 вопросов (категория размера 1K–10K).Модальности: текст и изображения (text, image).
Ограничения: авторы просят не публиковать, не перезаливать и не распространять датасет во избежание утечки данных в обучающие выборки.








Comments