К содержимому

Датасет · ScaleAI

Бенчмарк интуитивного визуального рассуждения

ScaleAI/HSS

Набор изображений и коротких видео с вопросами от Scale AI для оценки способности моделей понимать скрытый контекст.

Что внутри

Внутри находятся изображения, короткие видеоролики и табличные данные на английском языке, объём датасета составляет менее 1000 примеров. Каждое задание включает медиафайл, написанный человеком вопрос, эталонный ответ и набор критериев для проверки. Набор создан командой Scale AI для тестирования того, насколько хорошо модели считывают неявные временные, пространственные, социальные и абстрактные связи.

Что можно сделать

  • Оценка мультимодальных LLM на задачах визуального понимания контекста (VQA)
  • Бенчмаркинг видеомоделей на способность делать логические выводы по коротким роликам
  • Сравнение качества рассуждений нейросетей с человеческим уровнем (93.1%)
Задачи
Вопросы по картинкам, Видео + текст
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
3,8 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("ScaleAI/HSS")