Aevanis Vision Nano

Aevanis AI Lab выпустила Av-Vision-Nano — edge-native гибридный vision transformer на 7,68 млн параметров для извлечения визуальных признаков. Модель заточена под очень высокий FPS на Jetson, Raspberry Pi и серверных GPU. Лицензия — Apache-2.0.

⚙ Ключевые особенности

• ⚡ 750–900 FPS на серверных GPU: Tesla T4 и RTX 4090.
• 🔔 180–240 FPS на NVIDIA Jetson Orin Nano и 15–25 FPS на Raspberry Pi 5.
• 🔎 Sub-Pixel Geometric Stem: ConvNeXt-inspired 4x downsampling, сохраняющий высокочастотные границы до токенизации трансформером.
• 📌 196 Spatial Disparity Tokens: сетка 14×14 непрерывных пространственных токенов, кодирующих метрическую глубину и границы поверхностей без физического LiDAR.
• 🗂 Предобучение на 166 440 кадрах из 67 непрерывных видеопоследовательностей; без статического веб-скрапинга.
• ✅ Apache-2.0 — коммерческое, research- и edge-robotics использование.

📸 Пример

import torch
from model import AevanisVisionBackbone

model = AevanisVisionBackbone.from_pretrained("pytorch_model.bin", model_scale="nano")
img = torch.randn(1, 3, 224, 224)
with torch.no_grad():
    features = model(img)
spatial_tokens = features["spatial_tokens"]  # [1, 196, 256]

Подробнее

Задержки при batch size 1: RTX 4090 — 1.1 мс / 900+ FPS; Jetson Orin Nano — 4.2 мс / 240 FPS; Raspberry Pi 5 — 40 мс / 25 FPS.
CPU i7 — 22 мс / 45 FPS; INT8-квантование — 12.5 мс / 80 FPS.
Предобучение: 48.2 ГБ сырого видео, 20 эпох, 75% patch masking и Normalized Sobel Boundary Gradient loss.
Лицензия Apache-2.0 — коммерческое и research-использование.