Датасет · mlfoundations
Сырой пул на 121 млн примеров для отбора VLM-данных
mlfoundations/dcvlm_pool_small
Нефильтрованный корпус на 10,3 ТБ из 166 источников для экспериментов по фильтрации данных VLM.
Что внутри
Это малый пул кандидатов из бенчмарка DataComp-VLM, включающий 120,9 миллиона пар «изображение-текст» (около 187,5 млрд токенов и 10,3 ТБ) на шести языках, включая английский, китайский и немецкий. Данные собраны из 166 источников и упакованы в шарды WebDataset tar. Пул не отфильтрован и не сбалансирован — он предназначен для отработки алгоритмов отбора данных, а не для прямого обучения.
Что можно сделать
- Разработка и проверка алгоритмов фильтрации и дедупликации мультимодальных данных
- Подбор оптимальных пропорций смешивания источников для обучения VLM
- Воспроизведение экспериментов бенчмарка DataComp-VLM
- Задачи
- Картинка + текст, Вопросы по картинкам
- Языки
- Английский, Китайский, Немецкий, Французский, Японский, Корейский, la, fi и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 32,6 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/dcvlm_pool_small")