Датасет · mlfoundations
Мультимодальный корпус из PDF и веб-страниц (часть MINT-1T)
mlfoundations/MINT-1T-PDF-CC-2023-14
Срез сверхкрупного датасета MINT-1T объёмом от 1 до 10 млн записей с чередующимися текстами и картинками на английском языке.
Что внутри
Датасет содержит пары и последовательности из изображений и английских текстов, извлечённые из веб-страниц и PDF-документов. Данный репозиторий представляет собой часть размером от 1 до 10 миллионов записей, входящую в состав гигантского открытого корпуса MINT-1T (1 трлн токенов и 3,4 млрд картинок). Сбор данных провела команда из Вашингтонского университета.
Что можно сделать
- Предобучение мультимодальных моделей (VLM) на связках текст-картинка
- Обучение моделей пониманию сложных PDF-документов и вёрстки
- Генерация текста по изображениям (image-to-text)
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 22,8 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-14")