К содержимому

Датасет · KRAFTON

Бенчмарк визуального сравнения мелких деталей для VLM

KRAFTON/VLM-SubtleBench

Набор изображений и вопросов на английском для проверки способности VLM находить тонкие различия на похожих картинках.

Что внутри

Датасет от KRAFTON включает от 10 до 100 тысяч записей с изображениями и вопросами (VQA) на английском языке. В отличие от обычных тестов с очевидной разницей, здесь собраны визуально схожие кадры с едва заметными отличиями. Задача создана для оценки навыков тонкого сравнительного анализа у визуально-языковых моделей.

Что можно сделать

  • Тестирование VLM на способность находить мелкие расхождения между двумя почти одинаковыми изображениями
  • Оценка моделей для задач промышленного поиска аномалий, медицинской визуализации и аэросъемки
Задачи
Вопросы по картинкам, Картинка → текст
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
29,9 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("KRAFTON/VLM-SubtleBench")