Датасет · mlfoundations
Чанк мультимодального корпуса MINT-1T (PDF и веб-данные)
mlfoundations/MINT-1T-PDF-CC-2023-23
Часть гигантского открытого датасета с чередующимися текстами и картинками из PDF и веба.
Что внутри
Это отдельный сплит (от 1 до 10 млн записей) масштабного англоязычного датасета MINT-1T, созданного командой Вашингтонского университета. Весь проект объединяет 1 триллион текстовых токенов и 3,4 миллиарда изображений вперемешку, включая ранее неиспользованные источники вроде PDF-документов и статей с ArXiv. Набор предназначен для исследований в области мультимодального предобучения.
Что можно сделать
- Предобучение мультимодальных моделей (VLM), понимающих связный текст и изображения
- Обучение систем извлечения информации и анализа сложных PDF-документов
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 20,6 тыс.
- Лайков
- 10
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-PDF-CC-2023-23")