PANORAMA-2B
паноптический grounded captioning с маской для каждой фразы
1 min read
PANORAMA-2B от Panorama-grounding — модель для panoptic grounded captioning: она пишет описание всей сцены и привязывает каждую упомянутую сущность к попиксельной маске. Вариант на 2,93 млрд параметров построен на Qwen3-VL-2B-Instruct и SAM 3; grounding реализован как выбор предложенных масок.
Ключевые особенности
- Generalist-модель, обученная на смеси из 957K примеров.
- Для каждой фразы VLM формирует concept vector, который обусловливает promptable segmenter, а learned scorer выбирает подходящие маски.
- Фраза может привязываться к одной области, нескольким экземплярам или ни к одной; фон («stuff») тоже получает grounding.
- Пакет самодостаточный:
trust_remote_code=True, внешний код для запуска не нужен. - Только для исследований и некоммерческого использования; компоненты SAM 3 и Qwen3-VL-2B-Instruct распространяются по своим лицензиям.
Пример
import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor, AutoTokenizer
path = "Panorama-grounding/PANORAMA-2B"
model = AutoModel.from_pretrained(path, dtype=torch.bfloat16,
trust_remote_code=True).eval().cuda()
# далее: model.predict_forward(image=..., text=..., tokenizer=..., processor=...)
Подробнее
Обучение: смесь из 957K примеров, включая PanoCaps, COCONut-PanCap-Recaptioned и MRSeg-Referring-Expressions.Метрик в карточке нет; полная оценка — во внешнем code-репозитории, metric stack не входит в пакет.
Требования к VRAM не указаны; пример использует bfloat16 и
.cuda().Лицензия: только исследования и некоммерческое использование.










Comments