VLM-EDETR + NIG
детектор объектов с оценкой неопределённости
2 min readupdated
Модель ищет на изображениях любые объекты по текстовому описанию (zero-shot object detection) и одновременно оценивает, насколько она уверена в классе и точных границах рамки. В основе лежит архитектура VLM-EDETR с замороженным энкодером CLIP RN50 и энкодером RT-DETR, дополненная головой Normal-Inverse-Gamma (NIG — распределение для оценки неопределённости регрессии). В отличие от обычных детекторов, модель возвращает не только координаты рамки и вероятность класса, но и стандартное отклонение для каждой координаты и показатель неопределённости классификации. Пригодится для задач компьютерного зрения, где важно отсеивать сомнительные срабатывания или анализировать точность локализации объектов.
Ключевые особенности
- Двойная оценка неопределённости: голова Beta оценивает уверенность в классе, а общая голова NIG вычисляет разброс (std) для координат центра, ширины и высоты рамки.
- Работа с открытым словарём: в веса вшиты текстовые эмбеддинги 1203 классов LVIS, но их можно заменить на CLIP-эмбеддинги любых пользовательских запросов.
- Готовые веса в двух форматах:
.safetensorsдля стандартной загрузки и.pthдля встроенных инструментов репозиторияedetr. - Интерактивное демо: в репозитории есть готовый ноутбук для Google Colab и скрипт
gradio_demo.pyдля проверки на своих картинках.
Что можно сделать
- Находить произвольные объекты на фотографиях по текстовым промптам без дообучения под конкретный набор классов.
- Фильтровать ложные срабатывания в пайплайнах разметки или аналитики, используя метрики
box_stdи неопределённости классификации. - Запустить локальный интерфейс на Gradio или блокнот в Google Colab, чтобы визуально оценить доверительные интервалы рамок на своих изображениях.
Пример
model = VLMNIGEdetr(num_classes=1203, multi_scale=None)
model.load_state_dict(load_file("vlm_nig_edetr_lvis.safetensors"), strict=False)
model.eval()
prompts = ["elephant", "car"]
model.text_embeddings = build_text_embeddings(prompts, "RN50")
out = model(clip_transforms(train=False)(image).unsqueeze(0))
det = VLMPostProcessor(len(prompts), 100, score_type="uncertainty_weighted")(out, image_ids=[0], image_sizes=torch.tensor([[h, w]]))[0]
det.boxes, det.scores, det.extras["box_std"]
Подробнее
Обучение: база VLM-EDETR обучена на LVIS v1 по протоколу OV-LVIS, затем голова NIG дообучалась 12 эпох на LVIS v1 train при замороженных остальных весах.Веса: опубликованы EMA-веса для инференса; веса CLIP загружаются отдельно от OpenAI.
Лицензия: Apache 2.0.










Comments