Датасет · HuggingFaceM4
Перемежающиеся изображения и текст из Common Crawl
HuggingFaceM4/OBELICS
141 млн английских веб-документов с текстом и изображениями из Common Crawl для мультимодальных моделей.
Что внутри
Это коллекция перемежающихся текстов и изображений из веб-документов на английском. Внутри 141 млн документов, 115 млрд текстовых токенов и 353 млн изображений, собранных из дампов Common Crawl с февраля 2020 по февраль 2023 года. Данные прошли курирование и фильтрацию, описанные в статье.
Что можно сделать
- Обучить vision-language модель на перемежающихся изображениях и тексте
- Дообучить LoRA для мультимодальных задач
- Проверить генерацию и понимание изображений
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 14 тыс.
- Лайков
- 181
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceM4/OBELICS")