Датасет · mlfoundations
Огромный сырой пул данных для обучения VLM-моделей (483M)
mlfoundations/dcvlm_pool_medium
Нефильтрованный мультимодальный корпус объёмом 41,1 ТБ на шести языках для экспериментов по отбору данных для VLM.
Что внутри
В датасете собрано 483 576 747 примеров общим объёмом 41,1 ТБ из 166 источников в формате tar-архивов WebDataset на английском, китайском, немецком, французском, японском и корейском языках. Это сырой, нефильтрованный пул среднего размера из бенчмарка DataComp-VLM, который не предназначен для прямого обучения без предварительной очистки. Исследователи сами задают фильтры и пропорции смешивания, чтобы собрать на его основе собственный обучающий набор.
Что можно сделать
- Исследование алгоритмов фильтрации, дедупликации и балансировки мультимодальных данных
- Сборка кастомных обучающих выборок для моделей класса image-text-to-text и VQA
- Задачи
- Картинка + текст, Вопросы по картинкам
- Языки
- Английский, Китайский, Немецкий, Французский, Японский, Корейский, la, fi и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 32,8 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/dcvlm_pool_medium")