Мультимодальный математический корпус InfiMM-WebMath-40B

Что внутри

Датасет предназначен для математических рассуждений и содержит тексты и изображения, извлечённые из веб-документов. По метаданным размер — от 10 млн до 100 млн примеров; языки — английский и китайский. Карточка указывает, что данные открытые и созданы для предобучения мультимодальных моделей.

Что можно сделать

• Предобучение мультимодальных моделей для математики
• Дообучение image-text-to-text моделей на задачах с изображениями
• Проверка моделей на математических задачах с диаграммами и формулами

Модели, обученные на нём

• ahmedkilany/AK-AIМультимодальные 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("Infi-MM/InfiMM-WebMath-40B")