Датасет•OpenMOSS-Team/OmniAction
Данные для проактивной манипуляции робота в омнимодальном контексте.
- Робототехника
- Мультимодальные
- Обработка аудио
- Английский
200,6 тыс. 295
Датасет•ibrahimhamamci/CT-RATE
Набор КТ-исследований с парными радиологическими отчётами для обучения и проверки 3D VLM.
- Картинка → текст
- Текст → картинка
- Классификация картинок
- Английский
141,9 тыс. 39110K–100K записей🔒 по запросу
Датасет•Forithmus/MR-RATEИнтересное
МРТ головного и спинного мозга с текстовыми заключениями для мультимодальных медицинских моделей.
- Картинка → текст
- Текст → картинка
- Классификация картинок
- Английский
133,5 тыс. 13210K–100K записей🔒 по запросу
Датасет•lmms-lab/LLaVA-Video-178K
Видео и текстовые пары для обучения и проверки моделей видео-вопрос-ответ.
- Вопросы по картинкам
- Видео + текст
- Английский
109,5 тыс. 2141M–10M записей
Датасет•MMMU/MMMU
Бенчмарк по мультимодальному пониманию и reasoning: вопросы с изображениями из многих дисциплин.
- Вопрос-ответ
- Вопросы по картинкам
- multiple choice
- Английский
94,9 тыс. 34710K–100K записей
Датасет•nyu-visionx/Cambrian-10M
Крупный англоязычный датасет визуальных вопросов-ответов и инструкций для обучения мультимодальных моделей.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
60,8 тыс. 1311M–10M записей
Датасет•bshada/open-schematics
Крупнейший набор схем и PCB: исходники, изображения, метаданные и связанные файлы плат.
- Генерация текста
- Картинка → текст
- Текст → картинка
- Английский
56,9 тыс. 20410K–100K записей
Датасет•HuggingFaceFV/finevideo
Видеокорпус на английском для обучения моделей отвечать на вопросы по видео.
- Вопросы по картинкам
- Видео + текст
- Английский
43,2 тыс. 39110K–100K записей🔒 по запросу
Датасет•ropedia-ai/xperience-10mИнтересное
Крупный корпус видео, аудио и 3D о действиях человека для роботов и embodied AI.
- Классификация видео
- Картинка → текст
- Оценка глубины
- Английский
42,7 тыс. 2541M–10M записей🔒 по запросу
Датасет•poloclub/diffusiondb
2 млн изображений Stable Diffusion с промптами и гиперпараметрами реальных пользователей.
- Текст → картинка
- Картинка → текст
- Английский
41,1 тыс. 679больше 1T записей
Датасет•AI4Math/MathVista
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
- multiple choice
- Вопрос-ответ
- Вопросы по картинкам
- Английский
- Китайский
- Персидский
41 тыс. 2371K–10K записей
Датасет•derek-thomas/ScienceQA
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
- multiple choice
- Вопрос-ответ
- Другое
- Английский
36,3 тыс. 24410K–100K записей
Датасет•ma-xu/fine-t2iИнтересное
Крупный открытый набор пар «изображение–текст» на английском для качественного дообучения T2I-моделей.
- Картинка → текст
- Текст → картинка
- Английский
34,1 тыс. 134100K–1M записей
Датасет•ARTPARK-IISc/VaaniИнтересное
31 тыс. часов спонтанной речи по изображениям на 105 языках Индии, с транскриптами для ASR и мультимодальных задач.
- Распознавание речи
- Синтез речи
- Картинка → текст
- ne
- as
- ml
- +9
28,6 тыс. 1951M–10M записей🔒 по запросу
Датасет•HuggingFaceM4/DocmatixИнтересное
Огромный англоязычный набор для Document VQA, использованный при дообучении Idefics3.
- Вопросы по картинкам
- Английский
24,6 тыс. 3191M–10M записей
Датасет•MathLLMs/MathVision
Визуальные математические задачи с изображениями и текстом для проверки VLM.
- Вопрос-ответ
- multiple choice
- Вопросы по картинкам
- Английский
15,3 тыс. 1841K–10K записей
Датасет•UCSC-VLAA/Recap-DataComp-1BИнтересное
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
- Zero-shot классификация
- Поиск по текстам
- Картинка → текст
15,2 тыс. 2131B–10B записей
Датасет•pixparse/idl-wds
Миллионы страниц документов с PDF, TIFF-изображениями и OCR-аннотациями для обучения распознаванию.
14 тыс. 2061M–10M записей
Датасет•pixparse/pdfa-eng-wds
Англоязычные PDF-страницы из SafeDocs с разметкой для обучения и оценки OCR и vision-language моделей.
- Картинка → текст
- Английский
13,8 тыс. 1671K–10K записей
Датасет•MMInstruction/M3IT
Мультимодальные инструкции на английском и китайском для обучения vision-language моделей; от 1 до 10 млн примеров.
- Картинка → текст
- Классификация картинок
- Английский
- Китайский
12,5 тыс. 1361M–10M записей
Датасет•bones-studio/seedИнтересное
142 220 анимаций человеческого движения с текстовыми описаниями и разметкой для гуманоидной робототехники.
- Робототехника
- Текст → видео
- Видео + текст
- Английский
12,1 тыс. 425100K–1M записей🔒 по запросу
Датасет•huggan/wikiart
81 444 изображения искусства с метками художника, жанра и стиля.
- Классификация картинок
- Текст → картинка
- Картинка → текст
11,6 тыс. 24810K–100K записей
Датасет•ShareGPT4Video/ShareGPT4Video
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
9 тыс. 21510K–100K записей
Датасет•liuhaotian/LLaVA-Instruct-150K
150 тыс. пар изображение–инструкция от GPT-4 для визуального instruction tuning и VQA.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
5,8 тыс. 649100K–1M записей