К содержимому

Датасет · phiyodr

InpaintCOCO для тонкого понимания цвета, размера и объектов

phiyodr/InpaintCOCO

Мультимодальный датасет на базе COCO с картинками и текстами на английском языке для проверки и обучения моделей распознаванию мелких деталей.

Что внутри

Датасет содержит от 1 до 10 тысяч примеров (изображения и текст) на английском языке. Он создан на основе COCO и сфокусирован на детальном понимании мультимодальных концептов, таких как цвет, размер и конкретные объекты. Также в карточке упоминается существование мультиязычной версии MultiInpaintCOCO на 14 языках, включая русский.

Что можно сделать

  • Оценка и дообучение моделей связывать текст и изображение (image-to-text, text-to-image)
  • Проверка чувствительности VLM к атрибутам объектов (цвету и размеру)
  • Тестирование моделей классификации изображений с опорой на текстовые описания
Задачи
Картинка → текст, Текст → картинка, Классификация картинок
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
6,7 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("phiyodr/InpaintCOCO")