К содержимому

Датасет · OpenGVLab

210 млн чередующихся текстов и картинок из Common Crawl

OpenGVLab/OmniCorpus-CC-210M

Огромный отфильтрованный мультимодальный корпус от OpenGVLab для обучения моделей пониманию связки текста и фото.

Что внутри

В репозитории собраны 210 миллионов документов на английском языке, в которых текст чередуется с изображениями. Данные отфильтрованы из более крупного корпуса OmniCorpus-CC, собранного на основе веб-архива Common Crawl, и представлены в рамках работы для конференции ICLR 2025.

Что можно сделать

  • Предобучение мультимодальных моделей (VLM) для задач image-to-text и визуальных ответов на вопросы (VQA)
  • Обучение систем, способных понимать длинные веб-документы со смешанным текстовым и графическим контентом
Задачи
Картинка → текст, Вопросы по картинкам
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
147
Лайков
35
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenGVLab/OmniCorpus-CC-210M")