Датасет · mlfoundations
Мультиязычный пул картинок и текстов DataComp-VLM
mlfoundations/dcvlm_pool_large
Огромный сырой пул из почти 2 млрд пар изображение-текст на шести языках для отбора данных под VLM.
Что внутри
Внутри собрано 1,95 миллиарда примеров (166,7 ТБ) из 166 источников на английском, китайском, немецком, французском, японском и корейском языках в формате архивов WebDataset tar. Это нефильтрованный пул кандидатов для бенчмарка DataComp-VLM, причём загрузка части архивов в репозиторий ещё продолжается.
Что можно сделать
- Исследование и тестирование алгоритмов фильтрации мультимодальных данных перед обучением VLM
- Масштабное предобучение моделей визуального ответа на вопросы (VQA) и генерации описаний
- Задачи
- Картинка + текст, Вопросы по картинкам
- Языки
- Английский, Китайский, Немецкий, Французский, Японский, Корейский, la, fi и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 155,1 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/dcvlm_pool_large")