К содержимому

Датасет · mlfoundations

Сырой пул на 121 млн примеров для отбора VLM-данных

mlfoundations/dcvlm_pool_small

Нефильтрованный корпус на 10,3 ТБ из 166 источников для экспериментов по фильтрации данных VLM.

Что внутри

Это малый пул кандидатов из бенчмарка DataComp-VLM, включающий 120,9 миллиона пар «изображение-текст» (около 187,5 млрд токенов и 10,3 ТБ) на шести языках, включая английский, китайский и немецкий. Данные собраны из 166 источников и упакованы в шарды WebDataset tar. Пул не отфильтрован и не сбалансирован — он предназначен для отработки алгоритмов отбора данных, а не для прямого обучения.

Что можно сделать

  • Разработка и проверка алгоритмов фильтрации и дедупликации мультимодальных данных
  • Подбор оптимальных пропорций смешивания источников для обучения VLM
  • Воспроизведение экспериментов бенчмарка DataComp-VLM
Задачи
Картинка + текст, Вопросы по картинкам
Языки
Английский, Китайский, Немецкий, Французский, Японский, Корейский, la, fi и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
32,6 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/dcvlm_pool_small")