GRIT: пары изображение-текст с привязкой к регионам

Что внутри

GRIT — крупномасштабный корпус Grounded Image-Text pairs, построенный на парах изображение-текст из COYO-700M и LAION-2B. В нём извлекают текстовые фрагменты (существительные фразы и референциальные выражения) и связывают их с областями изображения. Размер — от 10 до 100 млн примеров; модальности — изображения, табличные данные и текст, язык английский.

Что можно сделать

• Обучить модель text-to-image с привязкой фраз к регионам
• Дообучить детектор объектов по текстовым описаниям
• Оценить visual grounding и zero-shot-классификацию

Модели, обученные на нём

• segmind/SSD-1BТекст → картинка 24,8 тыс.
• segmind/Segmind-VegaТекст → картинка 5,2 тыс.
• nnethercott/llava-v1.5-7b-gpt4OCR-hf-GGUF_Q4_K_MГенерация текста 404
• nnethercott/llava-v1.5-7b-gpt4OCR-hf-GGUF_Q2_KГенерация текста 266
• remiai3/ssd-1bТекст → картинка 153

Как загрузить

from datasets import load_dataset

ds = load_dataset("zzliang/GRIT")