Датасет · IDEA-CCNL
Китайская часть мультимодального датасета LAION-2B
IDEA-CCNL/laion2B-multi-chinese-subset
Около 143 миллионов пар «ссылка на изображение — текст» на китайском языке из набора LAION-2B для мультимодальных задач.
Что внутри
Это выборка на китайском языке из крупного многоязычного мультимодального датасета LAION-2B, подготовленная проектом Fengshenbang-LM. Внутри содержится около 143 миллионов пар из текстов и URL-ссылок на изображения (сами картинки не включены, только текстовые метаданные объемом около 19 ГБ).
Что можно сделать
- Обучение китайскоязычных мультимодальных моделей (например, аналогов CLIP)
- Предобучение моделей генерации изображений по тексту на китайском языке
- Извлечение признаков (feature extraction) и кросс-модальный поиск для китайского языка
- Задачи
- Эмбеддинги
- Языки
- Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 308
- Лайков
- 42
Как загрузить
from datasets import load_dataset
ds = load_dataset("IDEA-CCNL/laion2B-multi-chinese-subset")