Iris-Z
универсальная модель генерации изображений и карт глубины
2 мин чтенияобновлено
Iris-Z — это генеративная модель от Speridlabs, созданная на базе FLUX.2, которая умеет одновременно производить визуальное изображение и его геометрию (карту глубины). Те же веса позволяют превращать текстовый запрос в картинку с глубиной, фотографию в карту глубины или карту глубины в новое изображение. Модель превосходит лучшие специализированные решения на стандартных бенчмарках глубины, сохраняя при этом качество генерации базовой архитектуры. Она пригодится исследователям, разработчикам и создателям контента, работающим с 3D-графикой и компьютерным зрением.
Ключевые особенности
- Двойной результат: одновременная генерация внешнего вида и геометрии объекта по текстовому промпту.
- Высокая точность: превосходит лучшие специализированные модели глубины на стандартных бенчмарках (NYUv2, ETH3D и др.).
- Гибкость пайплайна: поддержка перевода текста в изображение, текста в RGBD, картинки в глубину и глубины в картинку.
- Два варианта размера: версия Iris-Z-big на 32.2B параметров и более легкая Iris-Z-small на 9.1B параметров.
Что можно сделать
- Текст в RGBD: сгенерировать по текстовому описанию полноценную картинку вместе с картой глубины для 3D-сцен.
- Анализ фото: построить детализированную карту глубины на основе существующей фотографии или папки с изображениями.
- Генерация по глубине: создать новое изображение на основе готовой карты глубины с помощью текстового промпта.
- Python API интеграция: встроить модель в собственные скрипты обработки графики с помощью официального SDK.
Пример
from iris_z import IrisZPipeline
pipeline = IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big")
# Генерация картинки и карты глубины по тексту
rgbd = pipeline.text_to_rgbd("a lighthouse at dusk", seed=0)
# Получение карты глубины из картинки
depth = pipeline.image_to_depth("photo.jpg")
depth.colourized().save("photo_depth.png")Подробнее
Бенчмарки AbsRel x100 (меньше — лучше): NYUv2 (Iris-Z-big: 1.90/2.28), ETH3D (Iris-Z-big: 1.76/1.87) в зависимости от протокола оценки.Требования к VRAM: ~112 GB для версии big и ~33 GB для версии small при работе со всеми задачами.
Требуется принятие условий использования базовой модели FLUX.2-dev и авторизация через hf auth login.








Комментарии