Датасет · SwayStar123
Латенты SDXL, эмбеддинги SigLIP и описания для CommonCatalog
SwayStar123/preprocessed_commoncatalog-cc-by
Предвычисленные латенты SDXL VAE, эмбеддинги SigLIP и подписи от moondream2 на базе датасета CommonCatalog CC-BY.
Что внутри
Набор содержит от 10 до 100 млн записей на английском языке, подготовленных на основе открытого корпуса commoncatalog-cc-by. Внутри находятся текстовые описания от модели moondream2 (также вынесенные в отдельный файл prompts.json), латентные представления из SDXL VAE в формате f32 и эмбеддинги SigLIP в байтах f16.
Что можно сделать
- Ускоренное обучение диффузионных моделей без траты ресурсов на прогон через VAE и текстовый энкодер
- Дообучение (fine-tuning) или обучение LoRA для генераторов изображений уровня SDXL
- Обучение мультимодальных моделей поиска и сопоставления текста и картинок
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 111,3 тыс.
- Лайков
- 18
Как загрузить
from datasets import load_dataset
ds = load_dataset("SwayStar123/preprocessed_commoncatalog-cc-by")