Датасет · google
Подробные описания изображений
google/imageinwords
Гипердетализированные описания изображений на английском для обучения и оценки моделей image-to-text.
Что внутри
Датасет содержит изображения и очень подробные текстовые описания, собранные по схеме human-in-the-loop. В метаданных указано от 1 до 10 тыс. примеров и английский язык. Карточка упоминает оценку читаемости, полноты, специфичности и галлюцинаций при fine-tuning.
Что можно сделать
- Дообучить vision-language модель детальным captioning-описаниям
- Оценить галлюцинации и полноту описаний у VLM
- Проверить качество text-to-image или object-detection пайплайнов
- Задачи
- Картинка → текст, Текст → картинка, Детекция объектов
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 300
- Лайков
- 125
Модели, обученные на нём
- gokaygokay/Florence-2-SD3-CaptionerКартинка + текст 3,5 тыс.
- gokaygokay/sd3-long-captioner-v2Картинка + текст 99
- gokaygokay/sd3-long-captionerКартинка + текст 73
- congruency/florence-2-large-ft-moredetailedКартинка → текст 51
- John6666/gokaygokay-Florence-2-SD3-Captioner-8bitКартинка + текст 12
- SoulCub/Florence-2-SD3-CaptionerКартинка + текст 10
- Artiron/Florence-2-SD3-CaptionerКартинка + текст 10
- olzhas314/Florence-2-SD3-CaptionerКартинка + текст 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/imageinwords")