DESPINA lunar SDXL: генерация видов лунной поверхности
2 мин чтенияобновлено
Этот релиз представляет собой набор обученных весов на базе Stable Diffusion XL для превращения цифровых моделей рельефа (DEM) в реалистичные фотографии лунного горизонта. Система использует два модуля ControlNet для анализа глубины и мягких контуров, а также специальную LoRA-надстройку для воспроизведения аутентичного вида Луны по архивам снимков Apollo. Получаемый горизонт и рельеф строго соответствуют исходным географическим данным. Инструмент ориентирован на исследователей космоса, планетологов и разработчиков визуализаций.
Ключевые особенности
- Точная привязка к рельефу: Использует инвертированную карту глубины и контуры для управления генерацией попиксельно.
- Лунное небо: Специально обученная LoRA поддерживает рендеринг черного неба с правильным шумом.
- Комплексный подход: Включает три компонента — лунную LoRA для UNet, depth ControlNet и soft-edge ControlNet.
- Научная база: Создано на основе академического исследования (ISPRS Annals) с использованием сканов Apollo от ASU.
Что можно сделать
- Реконструкция ландшафтов: Создавать фотореалистичные панорамы лунной поверхности на основе реальных данных высот (DEM).
- Пакетный рендеринг: Использовать скрипты из репозитория проекта для генерации видов луны по заданным координатам камеры и углу солнца.
- Интеграция с Diffusers: Запускать генерацию напрямую через пайплайн Stable Diffusion XL ControlNet в Python-скриптах.
Пример
import torch
from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline
repo = "RonInDune/despina-lunar-sdxl"
cns = [ControlNetModel.from_pretrained(repo, subfolder="controlnet-depth"),
ControlNetModel.from_pretrained(repo, subfolder="controlnet-softedge")]
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", controlnet=cns).to("cuda")
pipe.load_lora_weights(repo, subfolder="lora", weight_name="pytorch_lora_weights.safetensors")
pipe.fuse_lora(lora_scale=0.9)
image = pipe(
"A realistic image of the Moon's surface, from the perspective of a rover. Black sky.",
image=[depth_image, softedge_image],
controlnet_conditioning_scale=[0.8, 0.5],
num_inference_steps=30, guidance_scale=7.0,
).images[0]Подробнее
• Точность: средняя ошибка горизонта Horizon RMSE 0.94 px при 512 px.• Обучение: 3000 шагов на 1277 кадрах в fp32 с использованием diffusers 0.31.0.
• Ограничения: некоммерческое использование (исследования и образование) из-за лицензий базовых моделей и данных NASA/JSC/ASU.










Комментарии