К содержимому

Датасет · mlfoundations

Мультимодальный корпус из PDF и веб-страниц на 1 трлн токенов

mlfoundations/MINT-1T-PDF-CC-2023-06

Масштабный открытый набор чередующихся текстов и изображений на английском языке для мультимодального предобучения.

Что внутри

Это часть огромного открытого мультимодального датасета MINT-1T (1 триллион текстовых токенов и 3,4 миллиарда изображений в целом), собранная из PDF-документов и научных статей arXiv на английском языке. Размер конкретного набора составляет от 100 миллиардов до 1 триллиона записей. Датасет создан командой из Вашингтонского университета.

Что можно сделать

  • Предобучение крупных мультимодальных моделей (VLM)
  • Обучение систем пониманию сложной верстки научных статей и PDF-документов
Задачи
Картинка → текст, Генерация текста
Языки
Английский
Размер
100B–1T записей
Скачиваний за месяц
21,5 тыс.
Лайков
10

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-06")