DrivingGFM v1.0

Модель инструктивного редактирования изображений от DrivingGFM Team (Tongji University): на вход подаётся снимок дороги или городской сцены плюс текстовое указание, на выходе — та же геометрия, но с другой погодой, освещением, дорожными объектами или участниками движения. Внутри — латентный диффузионный UNet с 8 входными каналами и двойным CFG (текст + изображение), формат — diffusers.

🔥 Ключевые особенности

• 🖼 Режим «картинка + фраза → новая картинка»: сохраняет структуру сцены, меняет условия и объекты.
• ⚙️ UNet2DConditionModel на 859.5 M параметров, cross_attention_dim=768, VAE с 4-канальным латентом.
• 🎛 Два регулятора силы: image_guidance_scale держит геометрию (дорога, разметка), guidance_scale — следование тексту.
• 📦 Текстовый энкодер — CLIPTextModel (ViT-L/14), планировщик — EulerAncestralDiscreteScheduler.
• 🧩 Есть готовый пайплайн в репозитории (pipeline_drivinggfm.py) и обёртка DrivingGFM в отдельном репозитории.

😎 Пример

import torch
from PIL import Image
from diffusers import StableDiffusionInstructPix2PixPipeline
pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(
    "ZehongZhu/drivinggfm-v1.0", torch_dtype=torch.float16).to("cuda")
out = pipe("make it a rainy night road scene",
           image=Image.open("scene.png").convert("RGB"),
           num_inference_steps=20, image_guidance_scale=1.5,
           guidance_scale=7.5).images[0]

Подробнее

Параметры: num_inference_steps 20–30, image_guidance_scale 1.0–2.0 (по умолчанию 1.5), guidance_scale 7.0–9.0 (по умолчанию 7.5).
Веса: UNet 3.2 ГБ, VAE 319 МБ, текстовый энкодер 469 МБ. Обучение и инференс — 512 px.
Ограничения: при короткой стороне больше ~768 px детали деградируют; мелкие структуры вроде номеров на знаках не гарантируются — это генерация, а не детекция. Safety checker и feature extractor в пайплайне отсутствуют.
Веса перед публикацией прошли параметрическую перезапись (шум ~std*1e-6), хеши отличаются от референсных, но выход эквивалентен. Лицензия — CreativeML Open RAIL-M, коммерческое использование разрешено.