ovb-b-17500-best-full
автономный пайплайн Qwen-Image-2.1 с вшитой LoRA
2 мин чтенияобновлено
Готовый к работе полный пайплайн QwenImage21Pipeline (7.12B параметров) для редактирования и анализа изображений в формате image-to-image. На вход модель принимает RGB-картинку и текстовую инструкцию, а на выходе строит карту глубины в фиксированной цветовой палитре, выполняет семантическую или инстанс-сегментацию, либо генерирует новое изображение. Релиз от автора gatilin представляет собой объединение базовой модели Melo111/Fusion-C1-KQ0r128-60-40 и LoRA-адаптера (небольшой надстройки над базовой моделью) ovb-i108-b на 17 500 шаге обучения. В отличие от исходного адаптера, здесь веса уже вшиты в основной трансформер, поэтому при запуске не нужно скачивать базу и отдельно подключать надстройку.
Ключевые особенности
- Полная автономность: включает объединённый Transformer в формате
bfloat16, замороженный текстовый энкодер, VAE, токенизатор и планировщик (scheduler). - Точное слияние весов: выполнено методом PEFT
merge_and_unload(safe_merge=True)по 224 модулям (включая слои вниманияto_q,to_k,to_vиimg_mlp) для исходного rsLoRA с рангом 64. - Универсальный контракт задач: поддерживает визуализацию карт глубины, сегментацию (семантическую, инстанс и по описанию) и генерацию по промпту.
- Готовность к дообучению: трансформер можно загрузить отдельно как свежую точку инициализации для нового цикла тренировки.
Что можно сделать
- Строить карты глубины и маски сегментации: подавать на вход RGB-фотографии с инструкциями из проекта open-vision-banana для получения визуализаций.
- Запускать локально без лишних зависимостей: использовать пайплайн в скриптах на базе
diffusersс выгрузкой на CPU (enable_model_cpu_offload) без подгрузки родительских репозиториев. - Использовать как базу для файнтюна: извлечь компонент
transformerи запустить собственное обучение с нуля без старых состояний оптимизатора.
Пример
import torch
from diffusers import QwenImage21Pipeline
repo = "gatilin/ovb-b-17500-best-full"
pipe = QwenImage21Pipeline.from_pretrained(repo, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
Подробнее
Проверка при экспорте: сверены хеши SHA-256 всех файлов, точность загрузки тензоров и формулы слияния LoRA по всем модулям.Ограничения: полный офлайн-запуск пайплайна и генерация картинок после слияния автором не тестировались (
image_inference: false), метрики на бенчмарках заново не замерялись.Лицензия: действует исследовательская лицензия Qwen (только для исследований и оценки, не для коммерческого использования).










Комментарии