Датасет · kakaobrain
747 млн пар изображение—текст
kakaobrain/coyo-700m
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
Что внутри
COYO-700M содержит 747 млн пар изображение—текст и дополнительные мета-атрибуты. Пары собраны по alt-тексту и связанным изображениям в HTML-документах, по стратегии, близкой к прежним vision-and-language датасетам. Данные на английском, в модальностях image, tabular и text, для обучения крупных foundation-моделей.
Что можно сделать
- Обучить CLIP-подобную модель image-text
- Дообучить text-to-image модель
- Проверить zero-shot классификацию изображений
- Задачи
- Текст → картинка, Картинка → текст, Zero-shot классификация
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 4,9 тыс.
- Лайков
- 177
Модели, обученные на нём
- OpenGVLab/InternViT-300M-448pximage feature extraction 1 тыс.
- OpenGVLab/InternViT-6B-224pximage feature extraction 681
- BAAI/EVA-CLIP-18BЭмбеддинги 621
- BAAI/EVA-CLIP-8BЭмбеддинги 520
- OpenGVLab/InternVL-14B-224pximage feature extraction 402
- OpenGVLab/InternViT-6B-448px-V1-5image feature extraction 398
- DeepGlint-AI/mlcd-vit-large-patch14-336Эмбеддинги 328
- BAAI/EVA-CLIP-8B-448Эмбеддинги 137
Как загрузить
from datasets import load_dataset
ds = load_dataset("kakaobrain/coyo-700m")