Датасет · mlfoundations
Мультимодальный корпус из PDF и веб-страниц на 1 трлн токенов
mlfoundations/MINT-1T-PDF-CC-2023-06
Масштабный открытый набор чередующихся текстов и изображений на английском языке для мультимодального предобучения.
Что внутри
Это часть огромного открытого мультимодального датасета MINT-1T (1 триллион текстовых токенов и 3,4 миллиарда изображений в целом), собранная из PDF-документов и научных статей arXiv на английском языке. Размер конкретного набора составляет от 100 миллиардов до 1 триллиона записей. Датасет создан командой из Вашингтонского университета.
Что можно сделать
- Предобучение крупных мультимодальных моделей (VLM)
- Обучение систем пониманию сложной верстки научных статей и PDF-документов
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 100B–1T записей
- Скачиваний за месяц
- 21,5 тыс.
- Лайков
- 10
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-06")