NitroFusion2 DiT IO Adapters
входные и выходные адаптеры для пайплайнов NitroFusion2
2 мин чтенияобновлено
Набор из 15 извлечённых тензоров (входных и выходных адаптеров), взятых из модели ChenDY/NitroFusion2. Они преобразуют латентные патчи изображения 2×2, текстовые описания и временные шаги в эмбеддинги (векторные представления) для трансформера, а также переводят скрытые состояния обратно в предсказания латентных патчей. Модель не является самостоятельным генератором изображений — основной 30-слойный блок DiT (Diffusion Transformer), VAE, текстовый энкодер и планировщик сюда не входят. Пригодится разработчикам и исследователям, которые собирают собственные пайплайны или модульные архитектуры на базе NitroFusion2 без необходимости загружать полные веса всей сети.
Ключевые особенности
- Сохраняет оригинальные имена, формы и значения в формате BF16 для слоёв
all_x_embedder,all_final_layer,t_embedder,cap_embedderи токенов паддинга. - Компактный размер — всего около 0.01B параметров (15 тензоров), что упрощает интеграцию в модульные сборки.
- Совместимость с исходной архитектурой: функция
component.load_model(directory)строго загружает все веса из директории. - Поставляется вместе с файлами
tensor_mapping.jsonиextraction.jsonдля точного сопоставления исходных диапазонов и проверки целостности.
Что можно сделать
- Использовать адаптеры в кастомных пайплайнах на базе
diffusers, комбинируя их с отдельно загруженным основным блоком DiT и рефайнерами NitroFusion2. - Проводить архитектурные эксперименты с кодированием латентных патчей 2×2 и кондиционированием по тексту и таймстепам без модификации основного 30-слойного трансформера.
Пример
# Установка зависимостей: PyTorch, accelerate, safetensors и diffusers==0.36.0
# Загрузка совместимых адаптеров из локальной директории:
adapters = component.load_model(directory)
Подробнее
Базовая модель: ChenDY/NitroFusion2 (ревизия 62d1a7000af9c46a0c4348d936bd7670ff33c1b9).Проверка: протестировано в BF16 на CPU с латентами COCO после VAE и синтетическими скрытыми состояниями; подтверждена детерминированность выходов (детали в validation.json).
Ограничения: не генерирует картинки самостоятельно; для порядка патчей, масштабирования таймстепов и реконструкции нужен оригинальный пайплайн.
Лицензия: Apache-2.0.










Комментарии