Deformable DETR with Box Refine Two-Stage

Это object detection чекпоинт DeformableDETRDetect — Keras 3-конвертация модели SenseTime для проекта zeromodels. Одна реализация без изменений работает на TensorFlow, PyTorch и JAX, а каждый из 300 запросов предсказывает COCO-классы и бокс.

🤓 Ключевые особенности

• 🤓 Multi-scale deformable attention: запросы смотрят на небольшое число точек пирамиды stride 8–64.
• 🏃‍♂ Заявлено примерно 10× более быстрое обучение, чем у DETR.
• 📝 Чистая Keras 3-конвертация: бэкенд выбирается через KERAS_BACKEND.
• 👌 Есть варианты single-scale, с box refine и two-stage — загрузка через from_weights.
• 🤔 Порог и размеры изображения задаются при постобработке; модель принимает любой размер.

⌨ Пример

import os
os.environ["KERAS_BACKEND"] = "torch"  # или "jax" / "tensorflow"
from PIL import Image
from zeromodels.models.deformable_detr import DeformableDETRDetect, DeformableDETRImageProcessor
model = DeformableDETRDetect.from_weights("zeromodels/deformable-detr-with-box-refine-two-stage")
processor = DeformableDETRImageProcessor.from_weights("zeromodels/deformable-detr-with-box-refine-two-stage")
image = Image.open("your_image.jpg").convert("RGB")
output = model(processor(image)["pixel_values"], training=False)

Подробнее

Бенчмарков в карточке нет; заявлено ~10× ускорение обучения против DETR.
300 запросов, постобработка оставляет top-100 пар «запрос — класс», затем применяется threshold.
Процессор меняет размер с сохранением пропорций: короткая сторона 800, длинная — до 1333.
Лицензия Apache 2.0; VRAM и железо в карточке не указаны.