Датасет · m-a-p
Массивный мультимодальный корпус PIN-200M
m-a-p/PIN-200M
Около 200 млн примеров на английском и китайском для обучения мультимодальных моделей.
Что внутри
Сокращенная версия наукоемкого датасета PIN, объединяющего парные и чередующиеся мультимодальные документы на английском и китайском языках. Содержит около 200 миллионов сэмплов в специальном формате PIN с сигналами оценки качества и занимает порядка 312 ТБ.
Что можно сделать
- Предобучение крупных мультимодальных языковых моделей (VLM)
- Фильтрация и отбор качественных данных с помощью встроенных сигналов
- Исследования в области обработки чередующихся текстов и изображений
- Языки
- Английский, Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 63,8 тыс.
- Лайков
- 34
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/PIN-200M")