Датасет · HuggingFaceM4
50 наборов image-text для обучения VLM
HuggingFaceM4/the_cauldron
Сборник из 50 тренировочных vision-language датасетов, использованных для fine-tuning Idefics2.
Что внутри
The Cauldron — большая коллекция из 50 наборов vision-language данных, только training sets, применённых при fine-tuning модели Idefics2. Данные включают изображения и текст; размер — от 1M до 10M примеров. Загружаются через datasets, например load_dataset("HuggingFaceM4/the_cauldron", "ai2d").
Что можно сделать
- Fine-tuning vision-language модели вроде Idefics2
- Проверка VLM на разных типах image-text задач
- Сборка собственного микса для обучения мультимодальной модели
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 287,1 тыс.
- Лайков
- 574
Модели, обученные на нём
- HuggingFaceTB/SmolVLM2-500M-Video-InstructКартинка + текст 1,8 млн
- HuggingFaceTB/SmolVLM-500M-InstructКартинка + текст 261,5 тыс.
- HuggingFaceTB/SmolVLM-256M-InstructКартинка + текст 196,2 тыс.
- nicosuter/Qwen3.8-27B-AWQКартинка + текст 138,2 тыс.
- HuggingFaceTB/SmolVLM2-2.2B-InstructКартинка + текст 67,4 тыс.
- HuggingFaceM4/Idefics3-8B-Llama3Картинка + текст 42,7 тыс.
- HuggingFaceTB/SmolVLM2-256M-Video-InstructКартинка + текст 39,1 тыс.
- HuggingFaceTB/SmolVLM-InstructКартинка + текст 16,1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceM4/the_cauldron")