LibreOpenVisionBanana4b
визуальное восприятие и генерация на базе FLUX.2 [klein]
2 min readupdated
Готовый к запуску пайплайн модели Open Vision Banana 4B от FunAILab, упакованный командой LibreYOLO. В основе лежит 4-миллиардная модель FLUX.2 [klein] Base 4B, дообученная решать задачи компьютерного зрения через обычные текстовые промпты: на выходе можно получить карту глубины, сегментацию объектов или карту нормалей поверхности. Кроме того, модель умеет редактировать изображения и генерировать картинки по тексту. В отличие от исходного репозитория авторов, здесь все компоненты собраны в один полный пайплайн diffusers с весами в формате bfloat16 — ничего не нужно собирать вручную.
Ключевые особенности
- Мультизадачность по промпту: тип задачи задаётся текстом — сегментация возвращается в виде плоских цветов, глубина в градациях серого, а нормали поверхности в формате RGB.
- Генерация и редактирование: помимо анализа сцен, сохранены возможности генерации изображений с нуля и их редактирования.
- Удобная упаковка: это чекпоинт
nonzeroshot(усреднённый по шагам 90000–100000), переведённый изfloat32вbfloat16с побитовым совпадением результатов при одинаковомseed. - Совместимость с экосистемой: запускается как через библиотеку
libreyolo[gen], так и напрямую через стандартныйFlux2KleinPipelineизdiffusers.
Что можно сделать
- Получать плотные карты относительной глубины, маски сегментации и нормали для последующей обработки в Python и NumPy.
- Редактировать исходные изображения или генерировать новые сцены по текстовому описанию в одном пайплайне.
- Использовать в исследовательских прототипах для извлечения геометрической информации из фотографий без подключения отдельных узкоспециализированных CV-моделей.
Пример
from libreyolo import LibreGen, SAMPLE_IMAGE
model = LibreGen("open-vision-banana")
prompt = (
"Estimate a dense relative inverse-depth map for the input image. "
"Encode the result as neutral grayscale (R=G=B)."
)
model(prompt, source=SAMPLE_IMAGE, seed=0).generated.save("depth.png")
Подробнее
Базовая архитектура: FLUX.2 [klein] Base 4B (текстовый энкодер Qwen3).Дообучение не проводилось — это конвертация весов FunAILab/Open-Vision-Banana в bfloat16.
Лицензия: FLUX Non-Commercial License (только для некоммерческого использования), базовые компоненты — Apache-2.0.










Comments