К содержимому

Датасет · m-a-p

Мультимодальные документы PIN-14M для обучения моделей

m-a-p/PIN-14M

Крупный корпус парных и чередующихся мультимодальных документов на английском и китайском языках с разметкой качества.

Что внутри

Это мини-версия набора PIN, содержащая 14 миллионов примеров в формате PIN общим объемом около 18,79 ТБ. В метаданных указана текстовая модальность (10K–100K сэмплов) и два языка: английский и китайский. В финальной версии датасета авторы обновили сигналы качества для всех подмножеств.

Что можно сделать

  • Обучение мультимодальных моделей понимать документы со смешанным контентом
  • Фильтрация тренировочных выборок по сигналам качества данных
  • Дообучение двуязычных (en/zh) систем для работы со сложными документами
Языки
Английский, Китайский
Размер
10K–100K записей
Скачиваний за месяц
26,9 тыс.
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("m-a-p/PIN-14M")