Датасет · mlfoundations
MINT-1T: чередующиеся тексты и картинки из PDF и веба
mlfoundations/MINT-1T-PDF-CC-2023-50
Часть гигантского мультимодального датасета на 1 трлн токенов для предобучения моделей пониманию документов и страниц.
Что внутри
В репозитории представлен сегмент масштабного открытого датасета MINT-1T от исследователей Вашингтонского университета, в котором тексты на английском языке чередуются с изображениями (interleaved data). Полный корпус включает 1 триллион текстовых токенов и 3,4 миллиарда картинок, собранных в том числе из ранее не использовавшихся PDF-документов и статей ArXiv; в данном конкретном сплите от 1 до 10 млн записей.
Что можно сделать
- Предобучение мультимодальных LLM (MLLM) работе с длинным контекстом из текста и картинок
- Обучение моделей распознаванию и анализу сложных PDF-документов и научных статей
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 27,2 тыс.
- Лайков
- 14
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-50")