Датасет•bones-studio/seedИнтересное
142 220 анимаций человеческого движения с текстовыми описаниями и разметкой для гуманоидной робототехники.
- Робототехника
- Текст → видео
- Видео + текст
- Английский
12,1 тыс. 425100K–1M записей🔒 по запросу
Датасет•BAAI/Infinity-MM
Крупный мультимодальный instruction dataset от BAAI: изображения с вопросами и ответами на английском и китайском.
- Картинка → текст
- Английский
- Китайский
11,9 тыс. 12010M–100M записей🔒 по запросу
Датасет•nvidia/Nemotron-VLM-Dataset-v2Интересное
Почти втрое больше высококачественных примеров, чем в v1, для обучения VLM вопросам по изображениям и видео.
- Вопросы по картинкам
- Картинка + текст
- Видео + текст
11,7 тыс. 981M–10M записей
Датасет•huggan/wikiart
81 444 изображения искусства с метками художника, жанра и стиля.
- Классификация картинок
- Текст → картинка
- Картинка → текст
11,6 тыс. 24810K–100K записей
Датасет•google-research-datasets/conceptual_captions
~3,3 млн веб-изображений с подписями из alt-текста для обучения image-to-text.
- Картинка → текст
- Английский
10,9 тыс. 1121M–10M записей
Датасет•Open-Bee/Honey-Data-15M
15 млн пар «изображение — текст» на английском для обучения и проверки открытых мультимодальных моделей.
- Картинка + текст
- Английский
9,2 тыс. 12110M–100M записей
Датасет•ShareGPT4Video/ShareGPT4Video
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
9 тыс. 21510K–100K записей
Датасет•ScienceOne-AI/S1-MMAlign
24,17 млн пар изображение-текст из 3,01 млн открытых научных статей на английском.
- Картинка → текст
- Вопросы по картинкам
- Эмбеддинги
- Английский
6 тыс. 10710M–100M записей
Датасет•liuhaotian/LLaVA-Instruct-150K
150 тыс. пар изображение–инструкция от GPT-4 для визуального instruction tuning и VQA.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
5,8 тыс. 649100K–1M записей
Датасет•flaviagiammarino/vqa-rad
Пары вопрос-ответ к медицинским изображениям из MedPix для обучения и тестирования VQA.
- Вопросы по картинкам
- Английский
5,4 тыс. 1051K–10K записей
Датасет•kakaobrain/coyo-700m
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
- Текст → картинка
- Картинка → текст
- Zero-shot классификация
- Английский
4,9 тыс. 177100M–1B записей
Датасет•opendatalab/ChartVerse-SFT-1.8MИнтересное
1,8 млн пар вопрос-ответ по графикам с Chain-of-Thought аннотациями для обучения VLM.
- Вопросы по картинкам
- Картинка + текст
- Английский
4,6 тыс. 1411M–10M записей
Датасет•jackyhate/text-to-image-2M
Высококачественный и разнообразный датасет пар текст-изображение на ~2 млн примеров для обучения text-to-image.
- Текст → картинка
- Картинка → текст
- Классификация картинок
- Английский
4,2 тыс. 1971M–10M записей
Датасет•nvidia/Llama-Nemotron-VLM-Dataset-v1Интересное
Датасет NVIDIA для обучения и оценки мультимодальной модели Llama-Nemotron VLM.
- Вопросы по картинкам
- Картинка + текст
- Картинка → текст
3,5 тыс. 1721M–10M записей
Датасет•ProGamerGov/synthetic-dataset-1m-dalle3-high-quality-captions
Миллион+ AI-изображений с подробными английскими подписями для генерации и описания картинок.
- Текст → картинка
- Классификация картинок
- Картинка → текст
- Английский
3,3 тыс. 1621M–10M записей
Датасет•google/MapTrace
2 млн синтетических примеров для вопросов по картам и трассировки путей; английский язык.
- Картинка → текст
- Вопросы по картинкам
- Английский
3,1 тыс. 12010K–100K записей
Датасет•Xkev/LLaVA-CoT-100k
VQA-данные со структурированными аннотациями рассуждений для обучения Vision-Language Models.
- Вопросы по картинкам
- Картинка + текст
- Английский
3,1 тыс. 10910K–100K записей
Датасет•OpenDataArena/MMFineReason-1.8M-Qwen3-VL-235B-ThinkingИнтересное
1,8 млн мультимодальных примеров с подробными рассуждениями, дистиллированными из Qwen3-VL-235B-Thinking.
- Вопросы по картинкам
- Вопрос-ответ
- Генерация текста
- Английский
3,1 тыс. 1271M–10M записей
Датасет•openbmb/RLAIF-V-Dataset
Изображения и текст на английском для обучения и проверки доверенных мультимодальных моделей через RLAIF.
- Картинка + текст
- Вопросы по картинкам
- Мультимодальные
- Английский
2,6 тыс. 22710K–100K записей
Датасет•Lin-Chen/ShareGPT4V
Мультимодальные captions на английском для выравнивания изображений и текста и обучения captioning-моделей.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
2,2 тыс. 3281M–10M записей
Датасет•zzliang/GRIT
Крупный корпус пар изображение-текст, где фразы из подписи привязаны к соответствующим областям картинки.
- Текст → картинка
- Картинка → текст
- Детекция объектов
- Английский
2 тыс. 16910M–100M записей
Датасет•facebook/winoground
Пары картинок и подписей с одинаковыми словами в разном порядке для проверки vision-language моделей.
- Картинка → текст
- Текст → картинка
- Классификация картинок
- Английский
1,8 тыс. 123до 1K записей🔒 по запросу
Датасет•lightonai/LightOnOCR-mix-0126
10–100 млн примеров OCR: полные транскрипции страниц в Markdown с LaTeX и HTML-таблицами для обучения end-to-end OCR.
- Картинка → текст
- Английский
- Французский
- Немецкий
- +9
1,6 тыс. 11410M–100M записей
Датасет•raidium/RadImageNet-VQAИнтересное
750K CT/MRI-снимков и 7,5M сгенерированных VQA-примеров с экспертными аннотациями для обучения и бенчмарка.
- Вопросы по картинкам
- Английский
1 тыс. 971M–10M записей🔒 по запросу