Датасет · mlfoundations
Мультимодальный корпус на триллион токенов с PDF и ArXiv
mlfoundations/MINT-1T-PDF-CC-2024-18
Огромный открытый датасет с чередующимися текстами и изображениями на английском для предобучения мультимодальных моделей.
Что внутри
Датасет содержит чередующиеся текстовые и визуальные данные на английском языке: в полный корпус MINT-1T входит 1 триллион текстовых токенов и 3,4 миллиарда изображений (размер данного сплита — от 100 млрд до 1 трлн записей). Помимо стандартных веб-источников, сюда вошли ранее неиспользованные материалы из PDF-документов и научных статей ArXiv. Сборку подготовила команда исследователей из Вашингтонского университета.
Что можно сделать
- Предобучение крупных мультимодальных моделей с нуля
- Обучение систем понимания сложных документов, PDF и научных статей с картинками
- Тренировка моделей генерации текста по изображениям
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 100B–1T записей
- Скачиваний за месяц
- 46,8 тыс.
- Лайков
- 32
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2024-18")