CanViT-B COCO detector
активное зрение для детекции объектов
1 min readupdated
CanViT-B — это active-vision foundation model от проекта CanViT: Canvas Vision Transformer, который смотрит на сцену через последовательность glimpse и запоминает увиденное на общем canvas. Версия с CenterNet-головой обучена end-to-end для object detection на COCO 2017 и предсказывает боксы после каждого glimpse. Размер — около 0,1 млрд параметров, реализация на JAX / Flax NNX.
Ключевые особенности
- Активное зрение: сцена обрабатывается серией glimpse, а состояние накапливается на canvas.
- CenterNet-голова на canvas: декодирование боксов, оценок и индексов классов COCO.
- JAX / Flax NNX и класс
CanViTForObjectDetection. - 80 классов COCO; сцены 512 px, glimpse 128 px, canvas 32×32.
- Обучение end-to-end на COCO 2017, чекпоинт после 16 172 шагов.
Пример
import flax.nnx as nnx
from canvit_nnx.detect.model import CanViTForObjectDetection
model = nnx.view(CanViTForObjectDetection.from_pretrained(
'canvit/canvitb16-add-vpe-detect-g128px-s512px-coco-2026-08-01-nnx'
), use_running_average=True)
Подробнее
COCO val2017, C2F: AP 0.3242, AP50 0.5334, AP75 0.3337 при 20 glimpse; AP растёт с 0.1931 на старте.Обучение: 16 172 шагов, по 1024 сцены COCO train2017 на шаг, 10 glimpse за rollout.
Требования к VRAM в карточке не указаны; это research-чекпоинт на JAX / Flax NNX.
Лицензия MIT; претрейн — дистилляция из DINOv3.










Comments