Датасет · OpenGVLab
210 млн чередующихся текстов и картинок из Common Crawl
OpenGVLab/OmniCorpus-CC-210M
Огромный отфильтрованный мультимодальный корпус от OpenGVLab для обучения моделей пониманию связки текста и фото.
Что внутри
В репозитории собраны 210 миллионов документов на английском языке, в которых текст чередуется с изображениями. Данные отфильтрованы из более крупного корпуса OmniCorpus-CC, собранного на основе веб-архива Common Crawl, и представлены в рамках работы для конференции ICLR 2025.
Что можно сделать
- Предобучение мультимодальных моделей (VLM) для задач image-to-text и визуальных ответов на вопросы (VQA)
- Обучение систем, способных понимать длинные веб-документы со смешанным текстовым и графическим контентом
- Задачи
- Картинка → текст, Вопросы по картинкам
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 147
- Лайков
- 35
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenGVLab/OmniCorpus-CC-210M")