PANORAMA-2B

PANORAMA-2B от Panorama-grounding — модель для panoptic grounded captioning: она пишет описание всей сцены и привязывает каждую упомянутую сущность к попиксельной маске. Вариант на 2,93 млрд параметров построен на Qwen3-VL-2B-Instruct и SAM 3; grounding реализован как выбор предложенных масок.

🧐 Ключевые особенности

• 🤖 Generalist-модель, обученная на смеси из 957K примеров.
• 🧐 Для каждой фразы VLM формирует concept vector, который обусловливает promptable segmenter, а learned scorer выбирает подходящие маски.
• 👀 Фраза может привязываться к одной области, нескольким экземплярам или ни к одной; фон («stuff») тоже получает grounding.
• 🚀 Пакет самодостаточный: trust_remote_code=True, внешний код для запуска не нужен.
• ⛔ Только для исследований и некоммерческого использования; компоненты SAM 3 и Qwen3-VL-2B-Instruct распространяются по своим лицензиям.

🚀 Пример

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor, AutoTokenizer

path = "Panorama-grounding/PANORAMA-2B"
model = AutoModel.from_pretrained(path, dtype=torch.bfloat16,
                                  trust_remote_code=True).eval().cuda()
# далее: model.predict_forward(image=..., text=..., tokenizer=..., processor=...)

Подробнее

Обучение: смесь из 957K примеров, включая PanoCaps, COCONut-PanCap-Recaptioned и MRSeg-Referring-Expressions.
Метрик в карточке нет; полная оценка — во внешнем code-репозитории, metric stack не входит в пакет.
Требования к VRAM не указаны; пример использует bfloat16 и .cuda().
Лицензия: только исследования и некоммерческое использование.