К содержимому

Датасет · mlfoundations

Чанк мультимодального корпуса MINT-1T (PDF и веб-данные)

mlfoundations/MINT-1T-PDF-CC-2023-23

Часть гигантского открытого датасета с чередующимися текстами и картинками из PDF и веба.

Что внутри

Это отдельный сплит (от 1 до 10 млн записей) масштабного англоязычного датасета MINT-1T, созданного командой Вашингтонского университета. Весь проект объединяет 1 триллион текстовых токенов и 3,4 миллиарда изображений вперемешку, включая ранее неиспользованные источники вроде PDF-документов и статей с ArXiv. Набор предназначен для исследований в области мультимодального предобучения.

Что можно сделать

  • Предобучение мультимодальных моделей (VLM), понимающих связный текст и изображения
  • Обучение систем извлечения информации и анализа сложных PDF-документов
Задачи
Картинка → текст, Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
20,6 тыс.
Лайков
10

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-23")