К содержимому

Датасет · pufanyi

Мультиязычный датасет изображений и текстов

pufanyi/MIMICIT

Миллионы примеров с картинками и текстами на шести языках для обучения мультимодальных моделей.

Что внутри

Внутри находятся изображения и тексты на английском, китайском, испанском, японском, французском и корейском языках. Объём корпуса составляет от 1 до 10 миллионов записей. Набор подготовлен исследователями из Наньянского технологического университета (S-Lab) и Microsoft Research, а данные переведены из формата JSON в parquet для быстрой загрузки.

Что можно сделать

  • Обучение и дообучение (SFT) мультиязычных визуально-языковых моделей (VLM)
  • Тренировка систем поиска и сопоставления картинок с текстом на разных языках
Языки
Английский, Китайский, Испанский, Японский, Французский, Корейский, Арабский
Размер
1M–10M записей
Скачиваний за месяц
857
Лайков
49
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("pufanyi/MIMICIT")