К содержимому
Другое

LIS1-0.8B

сегментация по сложным описаниям за один проход

2 мин чтенияобновлено

Модель LIS1-0.8B от автора Wojtekb30 находит и выделяет попиксельными масками объекты на изображении по текстовому запросу или логической загадке (например, «что-то, что можно выпить»). В её основе лежит мультимодальная модель Qwen3.5-0.8B, дополненная кастомной головой декодирования масок и опциональным LoRA-адаптером (небольшой надстройкой над базовой моделью). В отличие от аналогов вроде LISA, LIS1 не генерирует текстовые токены по одному и не требует тяжёлого внешнего энкодера SAM — вся работа выполняется за один прямой проход (single forward pass) на внутренних признаках Qwen3.5. Компактная версия на 0.8B параметров подойдёт для локального запуска с 4-битной или 8-битной квантизацией в задачах умного поиска и разметки объектов.

Ключевые особенности

  • Работа за один проход: без авторегрессионной генерации текста и без отдельного бэкбона SAM — маски, контуры и рамки строятся напрямую из скрытых состояний Vision Transformer и последних 4 слоёв LLM.
  • Понимание косвенных описаний: модель обучена на RefCOCO с добавлением 35% синтетических функциональных загадок и проверялась в режиме zero-shot на бенчмарке ReasonSeg.
  • Двухмасштабное декодирование: использует признаки 1/32 и 1/16 разрешения из ViT с кэшированием визуальных эмбеддингов (LRU-кэш) для быстрого прогона нескольких запросов по одной картинке.
  • Два варианта весов: в репозитории доступны noLora (обучена только голова сегментации при замороженной Qwen3.5) и forLora (дополнительно дообучен LoRA-адаптер на верхних 4 слоях LLM).

Что можно сделать

  • Интерактивное выделение объектов по смыслу: находить на фото предметы не только по прямому названию («тост», «красный соус»), но и по назначению («то, из чего пьют»).
  • Автоматическая разметка датасетов: извлекать готовые бинарные маски, полигоны в формате COCO и bounding boxes за один прогон.
  • Локальный инференс на слабом железе: запускать 0.8B-версию в 4-bit или 8-bit через bitsandbytes (при этом ViT-энкодер автоматически остаётся без квантизации для сохранения точности границ).

Пример

from PIL import Image
from lis1_infer import LIS1Inferencer

inferencer = LIS1Inferencer()
inferencer.load_model(
    qwen_path="./Qwen3.5-0.8B",
    lis_model_path="./LIS1-0.8B-forLora.safetensors",
    lora_adapter="./LIS1-0.8B-LoraAdapter",
    device="cuda",
    load_in_4bit=True,
)
images = [Image.open("image1.jpg").convert("RGB")]
outputs = inferencer.run_model(images=images, queries=[["toast", "something you can drink"]])
inferencer.render_image(images=images, outputs=outputs)[0].save("result.png")
ПодробнееReasonSeg zero-shot (LIS1-0.8B forLora): Val overall gIoU — 32.4, cIoU — 31.7; Test overall gIoU — 29.4, cIoU — 28.6 (у версии noLora: Test gIoU — 27.5, cIoU — 29.6).
Семейство LIS1 также включает варианты на 2B, 4B, 9B и 27B (версии от 4B и выше в тестах автора обошли Ultralytics MobileSAM и YOLOE Open Vocabulary).
Для запуска требуются скрипты LIS1ModelCode.py и lis1_infer.py из репозитория, а также локально загруженная базовая модель Qwen3.5-0.8B.
Примеры
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Wojtekb30/LIS1-0.8B
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Wojtekb30/LIS1-0.8B --local-dir ~/models/LIS1-0.8B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к LIS1-0.8B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии LIS1-0.8B — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Wojtekb30/LIS1-0.8B
Автор
Wojtekb30
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии