Датасет · KRAFTON
Бенчмарк визуального сравнения мелких деталей для VLM
KRAFTON/VLM-SubtleBench
Набор изображений и вопросов на английском для проверки способности VLM находить тонкие различия на похожих картинках.
Что внутри
Датасет от KRAFTON включает от 10 до 100 тысяч записей с изображениями и вопросами (VQA) на английском языке. В отличие от обычных тестов с очевидной разницей, здесь собраны визуально схожие кадры с едва заметными отличиями. Задача создана для оценки навыков тонкого сравнительного анализа у визуально-языковых моделей.
Что можно сделать
- Тестирование VLM на способность находить мелкие расхождения между двумя почти одинаковыми изображениями
- Оценка моделей для задач промышленного поиска аномалий, медицинской визуализации и аэросъемки
- Задачи
- Вопросы по картинкам, Картинка → текст
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 29,9 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("KRAFTON/VLM-SubtleBench")