LIS1-0.8B
сегментация по сложным описаниям за один проход
2 min readupdated
Модель LIS1-0.8B от автора Wojtekb30 находит и выделяет попиксельными масками объекты на изображении по текстовому запросу или логической загадке (например, «что-то, что можно выпить»). В её основе лежит мультимодальная модель Qwen3.5-0.8B, дополненная кастомной головой декодирования масок и опциональным LoRA-адаптером (небольшой надстройкой над базовой моделью). В отличие от аналогов вроде LISA, LIS1 не генерирует текстовые токены по одному и не требует тяжёлого внешнего энкодера SAM — вся работа выполняется за один прямой проход (single forward pass) на внутренних признаках Qwen3.5. Компактная версия на 0.8B параметров подойдёт для локального запуска с 4-битной или 8-битной квантизацией в задачах умного поиска и разметки объектов.
Ключевые особенности
- Работа за один проход: без авторегрессионной генерации текста и без отдельного бэкбона SAM — маски, контуры и рамки строятся напрямую из скрытых состояний Vision Transformer и последних 4 слоёв LLM.
- Понимание косвенных описаний: модель обучена на RefCOCO с добавлением 35% синтетических функциональных загадок и проверялась в режиме zero-shot на бенчмарке ReasonSeg.
- Двухмасштабное декодирование: использует признаки 1/32 и 1/16 разрешения из ViT с кэшированием визуальных эмбеддингов (LRU-кэш) для быстрого прогона нескольких запросов по одной картинке.
- Два варианта весов: в репозитории доступны
noLora(обучена только голова сегментации при замороженной Qwen3.5) иforLora(дополнительно дообучен LoRA-адаптер на верхних 4 слоях LLM).
Что можно сделать
- Интерактивное выделение объектов по смыслу: находить на фото предметы не только по прямому названию («тост», «красный соус»), но и по назначению («то, из чего пьют»).
- Автоматическая разметка датасетов: извлекать готовые бинарные маски, полигоны в формате COCO и bounding boxes за один прогон.
- Локальный инференс на слабом железе: запускать 0.8B-версию в 4-bit или 8-bit через
bitsandbytes(при этом ViT-энкодер автоматически остаётся без квантизации для сохранения точности границ).
Пример
from PIL import Image
from lis1_infer import LIS1Inferencer
inferencer = LIS1Inferencer()
inferencer.load_model(
qwen_path="./Qwen3.5-0.8B",
lis_model_path="./LIS1-0.8B-forLora.safetensors",
lora_adapter="./LIS1-0.8B-LoraAdapter",
device="cuda",
load_in_4bit=True,
)
images = [Image.open("image1.jpg").convert("RGB")]
outputs = inferencer.run_model(images=images, queries=[["toast", "something you can drink"]])
inferencer.render_image(images=images, outputs=outputs)[0].save("result.png")
Подробнее
ReasonSeg zero-shot (LIS1-0.8B forLora): Val overall gIoU — 32.4, cIoU — 31.7; Test overall gIoU — 29.4, cIoU — 28.6 (у версии noLora: Test gIoU — 27.5, cIoU — 29.6).Семейство LIS1 также включает варианты на 2B, 4B, 9B и 27B (версии от 4B и выше в тестах автора обошли Ultralytics MobileSAM и YOLOE Open Vocabulary).
Для запуска требуются скрипты
LIS1ModelCode.py и lis1_infer.py из репозитория, а также локально загруженная базовая модель Qwen3.5-0.8B.









Comments