К содержимому

Датасет · mlfoundations

Чанк гигантского мультимодального корпуса MINT-1T (PDF)

mlfoundations/MINT-1T-PDF-CC-2023-40

Часть открытого датасета MINT-1T с чередующимися текстами и картинками из PDF и научных статей на английском.

Что внутри

Это фрагмент масштабного открытого корпуса MINT-1T, созданного исследователями из Вашингтонского университета для мультимодального претрейна. Весь проект объединяет 1 триллион текстовых токенов и 3,4 миллиарда изображений, включая данные из ранее не использовавшихся PDF-документов и статей ArXiv; в данном репозитории находится от 100 миллиардов до 1 триллиона записей на английском языке. Формат файлов в описании не уточняется.

Что можно сделать

  • Претрейн крупных мультимодальных моделей (VLM) на связках текст + изображение
  • Обучение систем распознавания и понимания сложных документов, PDF и научных статей
Задачи
Картинка → текст, Генерация текста
Языки
Английский
Размер
100B–1T записей
Скачиваний за месяц
30,2 тыс.
Лайков
9

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-40")