Датасет · mlfoundations
Чанк гигантского мультимодального корпуса MINT-1T (PDF)
mlfoundations/MINT-1T-PDF-CC-2023-40
Часть открытого датасета MINT-1T с чередующимися текстами и картинками из PDF и научных статей на английском.
Что внутри
Это фрагмент масштабного открытого корпуса MINT-1T, созданного исследователями из Вашингтонского университета для мультимодального претрейна. Весь проект объединяет 1 триллион текстовых токенов и 3,4 миллиарда изображений, включая данные из ранее не использовавшихся PDF-документов и статей ArXiv; в данном репозитории находится от 100 миллиардов до 1 триллиона записей на английском языке. Формат файлов в описании не уточняется.
Что можно сделать
- Претрейн крупных мультимодальных моделей (VLM) на связках текст + изображение
- Обучение систем распознавания и понимания сложных документов, PDF и научных статей
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 100B–1T записей
- Скачиваний за месяц
- 30,2 тыс.
- Лайков
- 9
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-40")