Датасет · ScaleAI
Бенчмарк интуитивного визуального рассуждения
ScaleAI/HSS
Набор изображений и коротких видео с вопросами от Scale AI для оценки способности моделей понимать скрытый контекст.
Что внутри
Внутри находятся изображения, короткие видеоролики и табличные данные на английском языке, объём датасета составляет менее 1000 примеров. Каждое задание включает медиафайл, написанный человеком вопрос, эталонный ответ и набор критериев для проверки. Набор создан командой Scale AI для тестирования того, насколько хорошо модели считывают неявные временные, пространственные, социальные и абстрактные связи.
Что можно сделать
- Оценка мультимодальных LLM на задачах визуального понимания контекста (VQA)
- Бенчмаркинг видеомоделей на способность делать логические выводы по коротким роликам
- Сравнение качества рассуждений нейросетей с человеческим уровнем (93.1%)
- Задачи
- Вопросы по картинкам, Видео + текст
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 3,8 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("ScaleAI/HSS")