Датасет · mlfoundations
Мультимодальный корпус статей ArXiv из проекта MINT-1T
mlfoundations/MINT-1T-ArXiv
Англоязычный набор чередующихся текстов и изображений из научных статей ArXiv для предобучения.
Что внутри
Часть масштабного открытого датасета MINT-1T, созданного командой Вашингтонского университета для мультимодального предобучения. В этом разделе собраны от 1 до 10 миллионов записей на английском языке, извлеченных из научных статей ArXiv и PDF-документов с чередованием текста и иллюстраций (весь проект MINT-1T охватывает 1 триллион текстовых токенов и 3,4 миллиарда изображений).
Что можно сделать
- Предобучение мультимодальных языковых моделей (VLM) на связных текстах и иллюстрациях
- Обучение систем понимания научных статей, графиков и сложных PDF-документов
- Дообучение моделей для генерации текста с опорой на визуальный контекст
- Задачи
- Картинка → текст, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 8,2 тыс.
- Лайков
- 61
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/MINT-1T-ArXiv")