К содержимому

Датасет · mlfoundations

Мультимодальный корпус из PDF и веб-страниц (часть MINT-1T)

mlfoundations/MINT-1T-PDF-CC-2023-14

Срез сверхкрупного датасета MINT-1T объёмом от 1 до 10 млн записей с чередующимися текстами и картинками на английском языке.

Что внутри

Датасет содержит пары и последовательности из изображений и английских текстов, извлечённые из веб-страниц и PDF-документов. Данный репозиторий представляет собой часть размером от 1 до 10 миллионов записей, входящую в состав гигантского открытого корпуса MINT-1T (1 трлн токенов и 3,4 млрд картинок). Сбор данных провела команда из Вашингтонского университета.

Что можно сделать

  • Предобучение мультимодальных моделей (VLM) на связках текст-картинка
  • Обучение моделей пониманию сложных PDF-документов и вёрстки
  • Генерация текста по изображениям (image-to-text)
Задачи
Картинка → текст, Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
22,8 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-14")