К содержимому

Датасет · m-a-p

Массивный мультимодальный корпус PIN-200M

m-a-p/PIN-200M

Около 200 млн примеров на английском и китайском для обучения мультимодальных моделей.

Что внутри

Сокращенная версия наукоемкого датасета PIN, объединяющего парные и чередующиеся мультимодальные документы на английском и китайском языках. Содержит около 200 миллионов сэмплов в специальном формате PIN с сигналами оценки качества и занимает порядка 312 ТБ.

Что можно сделать

  • Предобучение крупных мультимодальных языковых моделей (VLM)
  • Фильтрация и отбор качественных данных с помощью встроенных сигналов
  • Исследования в области обработки чередующихся текстов и изображений
Языки
Английский, Китайский
Размер
10K–100K записей
Скачиваний за месяц
63,8 тыс.
Лайков
34

Как загрузить

from datasets import load_dataset

ds = load_dataset("m-a-p/PIN-200M")