CanViT-B COCO detector

CanViT-B — это active-vision foundation model от проекта CanViT: Canvas Vision Transformer, который смотрит на сцену через последовательность glimpse и запоминает увиденное на общем canvas. Версия с CenterNet-головой обучена end-to-end для object detection на COCO 2017 и предсказывает боксы после каждого glimpse. Размер — около 0,1 млрд параметров, реализация на JAX / Flax NNX.

🤓 Ключевые особенности

• 🗣 Активное зрение: сцена обрабатывается серией glimpse, а состояние накапливается на canvas.
• 📝 CenterNet-голова на canvas: декодирование боксов, оценок и индексов классов COCO.
• ⌨ JAX / Flax NNX и класс CanViTForObjectDetection.
• 👍 80 классов COCO; сцены 512 px, glimpse 128 px, canvas 32×32.
• 🤓 Обучение end-to-end на COCO 2017, чекпоинт после 16 172 шагов.

📝 Пример

import flax.nnx as nnx
from canvit_nnx.detect.model import CanViTForObjectDetection
model = nnx.view(CanViTForObjectDetection.from_pretrained(
    'canvit/canvitb16-add-vpe-detect-g128px-s512px-coco-2026-08-01-nnx'
), use_running_average=True)

Подробнее

COCO val2017, C2F: AP 0.3242, AP50 0.5334, AP75 0.3337 при 20 glimpse; AP растёт с 0.1931 на старте.
Обучение: 16 172 шагов, по 1024 сцены COCO train2017 на шаг, 10 glimpse за rollout.
Требования к VRAM в карточке не указаны; это research-чекпоинт на JAX / Flax NNX.
Лицензия MIT; претрейн — дистилляция из DINOv3.