К содержимому

Датасет · nyu-visionx

Визуальный бенчмарк CV-Bench для мультимодальных LLM

nyu-visionx/CV-Bench

От 1 до 10 тысяч тестовых примеров с картинками и вопросами для проверки зрения мультимодальных моделей.

Что внутри

Бенчмарк CV-Bench, представленный в работе Cambrian-1, предназначен для оценки визуальных возможностей мультимодальных LLM на английском языке. Внутри от 1K до 10K примеров для визуальных ответов на вопросы (VQA). Изображения и аннотации заранее упакованы в файлы формата parquet для работы через библиотеку HF Datasets.

Что можно сделать

  • Оценка зрительного восприятия и пространственного понимания мультимодальных LLM
  • Сравнение визуальных энкодеров при обучении VLM
Задачи
Вопросы по картинкам
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
12,2 тыс.
Лайков
49

Как загрузить

from datasets import load_dataset

ds = load_dataset("nyu-visionx/CV-Bench")