К содержимому

Датасет · IDEA-CCNL

Китайская часть мультимодального датасета LAION-2B

IDEA-CCNL/laion2B-multi-chinese-subset

Около 143 миллионов пар «ссылка на изображение — текст» на китайском языке из набора LAION-2B для мультимодальных задач.

Что внутри

Это выборка на китайском языке из крупного многоязычного мультимодального датасета LAION-2B, подготовленная проектом Fengshenbang-LM. Внутри содержится около 143 миллионов пар из текстов и URL-ссылок на изображения (сами картинки не включены, только текстовые метаданные объемом около 19 ГБ).

Что можно сделать

  • Обучение китайскоязычных мультимодальных моделей (например, аналогов CLIP)
  • Предобучение моделей генерации изображений по тексту на китайском языке
  • Извлечение признаков (feature extraction) и кросс-модальный поиск для китайского языка
Задачи
Эмбеддинги
Языки
Китайский
Размер
10M–100M записей
Скачиваний за месяц
308
Лайков
42

Как загрузить

from datasets import load_dataset

ds = load_dataset("IDEA-CCNL/laion2B-multi-chinese-subset")