Jeveration
мультизадачная модель для генерации и анализа изображений за один проход
2 мин чтенияобновлено
Jeveration — это замороженная vision-language модель (мультимодальная модель, понимающая текст и изображения), которая создаёт картинку размером 512x512 пикселей как единое решение за один прямой проход (single forward pass). Она построена на базе бэкбона Qwen/Qwen3.5-4B и выполняет широкий спектр задач: от текстовой генерации изображений и переноса стилей до работы с картами глубин и сегментацией. Модель подходит разработчикам и исследователям, которым интересны универсальные пайплайны «всё в одном» на базе современных языковых архитектур.
Ключевые особенности
- Один пайплайн для всего: поддерживает text-to-image, image-to-image (включая работу по картам HED/depth, колоризацию и стили) и плотное предсказание (dense prediction).
- База Qwen3.5-4B: использует мощную языковую модель в качестве основы с добавлением LoRA-адаптеров (ранг 256) и специализированных голов.
- Декодер TA-TiTok: задействует тексто-осведомлённый декодер, дообученный для качественного вывода изображений в разрешении 512x512.
- Плотное предсказание: умеет вычислять 13-классовую сегментацию, глубину и нормали поверхностей для каждого пикселя.
Что можно сделать
- Генерация по тексту: создавать изображения по текстовым промптам с помощью пайплайна Python.
- Преобразование картинок: переносить фотографии в стили аниме, ghibli или акварели, а также раскрашивать черно-белые снимки.
- Работа со структурой: генерировать изображения на основе карт краев (HED) или карт глубины (depth).
- Анализ сцен: выполнять сегментацию помещений и получать карту глубин с нормалями с помощью функции плотного предсказания.
Пример
from PIL import Image
from jeveration import JeverationPipeline
pipe = JeverationPipeline("weights/jeveration.pt", decoder="weights/decoder512.pt",
source_decoder="weights/source_decoder512.pt")
prompt = "A lone pine tree on a small island in a calm lake at dawn."
images = pipe.text_to_image([prompt], pipe.generator(0))
Image.fromarray(images[0]).save("pine.png")
Подробнее
• Файлы модели: веса весят около 4.0 ГБ, декодеры — 1.2 ГБ и 1.3 ГБ.• Разрешение вывода: фиксированное, 512x512 пикселей.
• Лицензия: Apache License 2.0 для кода и весов.
• Ограничения: плотные головы обучались на датасете NYUv2 для интерьеров.










Комментарии