Датасет · m-a-p
Мультимодальные документы PIN-14M для обучения моделей
m-a-p/PIN-14M
Крупный корпус парных и чередующихся мультимодальных документов на английском и китайском языках с разметкой качества.
Что внутри
Это мини-версия набора PIN, содержащая 14 миллионов примеров в формате PIN общим объемом около 18,79 ТБ. В метаданных указана текстовая модальность (10K–100K сэмплов) и два языка: английский и китайский. В финальной версии датасета авторы обновили сигналы качества для всех подмножеств.
Что можно сделать
- Обучение мультимодальных моделей понимать документы со смешанным контентом
- Фильтрация тренировочных выборок по сигналам качества данных
- Дообучение двуязычных (en/zh) систем для работы со сложными документами
- Языки
- Английский, Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 26,9 тыс.
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/PIN-14M")