Open Vision Banana 4B Seg 1-Step LoRA
сегментация по тексту за 1 шаг
2 мин чтенияобновлено
Адаптер для сегментации объектов на изображении по текстовому описанию (referring segmentation): на вход подаётся картинка и фраза вроде «чёрный бильярдный шар», а на выходе получается чёрно-белая маска нужной области. Модель представляет собой LoRA (компактную надстройку над базовыми весами) от автора ApacheOne для трансформера Open Vision Banana 4B (на базе компонентов FLUX.2-klein-base-4B). В отличие от оригинальной 28-шаговой версии, этот вариант работает всего за 1 шаг деноизинга, но при этом обходит базу по точности на валидации ReasonSeg. Пригодится разработчикам компьютерного зрения и пайплайнов редактирования изображений, где критична скорость генерации масок.
Ключевые особенности
- Генерация маски за 1 проход трансформера с обновлением Euler (от sigma 1 до 0) и CFG 1.0.
- Ускорение этапов деноизинга и декодирования VAE примерно в 31 раз по сравнению с базовой 28-шаговой моделью (0.72 с против 22.33 с на пилотном наборе 512²).
- На полном валидационном наборе ReasonSeg (200 изображений, 1024²) набрала 76.89 gIoU против 74.60 у оригинальной OVB 4B (+2.29 пункта) при скорости 2.46 с на изображение.
- Обучена за 1 000 шагов на 200 изображениях из обучающей выборки ReasonSeg с параметрами rank 64 и alpha 64.
Что можно сделать
- Автоматически выделять конкретные объекты на фото по смысловому запросу в пайплайнах на базе Diffusers и FLUX.2-klein-base-4B.
- Использовать быструю генерацию бинарных масок как первый этап перед инпейнтингом или заменой фона в редакторах изображений.
- Интегрировать в связку с LLM (например, Gemma 4 31B, как в бенчмарке) для превращения сложных пользовательских вопросов в точные фразы-указатели для сегментации.
Пример
pipe.load_lora_weights("ApacheOne/Open-Vision-Banana-4B-Seg-1Step-Lora", weight_name="ovb_4b_reasonseg_one_step.safetensors")
prompt = '[TASK: REFERRING_SEGMENTATION] Segment the region that best matches this description: "the black billiard ball". Paint the matching region white [255, 255, 255] and leave everything else black [0, 0, 0]. Output only the segmentation mask image.'
raw = pipe(image=image, prompt=prompt, num_inference_steps=1, guidance_scale=1.0, sigmas=[1.0]).images[0]
Подробнее
ReasonSeg val (200 фото, 1024²): 76.89 gIoU, 74.79 cIoU, 2.46 с/фото (с кэшем эмбеддингов).Пилот Open Images (10 фото, 512²): 48.96 gIoU против 46.04 у базы (0.79 с против 24.30 с).
Требования и точность: для воспроизведения бенчмарка веса LoRA переводят в float32 поверх bfloat16-пайплайна; замеры времени не включают кодирование промпта/картинки и загрузку модели.
Лицензия: FLUX Non-Commercial License (только для некоммерческого использования).










Комментарии