Warped-Cartesian omni-foveation DINOv3-S+
фовеальный визуальный энкодер
2 мин чтенияобновлено
Модель представляет собой визуальный энкодер и классификатор для ImageNet-1k, который имитирует фовеальное (периферийное и центральное) зрение человека вместо равномерного сканирования картинки. Она создана на базе facebook/dinov3-vits16plus-pretrain-lvd1689m (DINOv3 ViT-S/16+) авторами библиотеки FOVI с помощью LoRA (небольшой обучаемой надстройки над базовой моделью). На вход модель принимает изображения, координаты точек фиксации взгляда и индекс силы фовеации, а на выходе возвращает логиты для 1000 классов, 384-мерные эмбеддинги и ретинальные проекции. В отличие от обычных Vision Transformer, один и тот же чекпоинт здесь адаптирован сразу под семь уровней детализации взгляда и использует искажённую декартову сетку сетчатки (Warped-Cartesian). Пригодится исследователям компьютерного зрения и биоинспирированных систем восприятия.
Ключевые особенности
- 7 уровней фовеации в одном чекпоинте: поддерживает фиксированный набор значений
cmf_aот0.001(сильное сжатие периферии) до1000(почти равномерная сетка). - Компактный бюджет сетчатки: работает с 16 384 сэмплами (номинальное разрешение 128) и 64 пространственными патч-токенами с размером патча 16 и нативным кортикальным RoPE.
- Эффективная адаптация: поверх DINOv3-S+ обучена LoRA (rank 64, alpha 64) на эмбеддингах патчей и блоках трансформера 0–5, а также финальная нормализация и голова классификации.
- Автономный пакет веса: архив уже включает базовый бэкбон, LoRA-параметры и проекторы, поэтому при загрузке не нужно скачивать закрытые веса базовой модели отдельно.
Что можно сделать
- Извлекать визуальные признаки с разной детализацией: получать 384-мерные эмбеддинги изображений при заданных точках фиксации взгляда для экспериментов с активным зрением.
- Сравнивать точность распознавания при серии фиксаций: исследовать, как накопление от 1 до 20 взглядов на разные участки кадра повышает качество классификации на ImageNet-1k.
- Использовать как визуальный бэкбон в пайплайнах FOVI: интегрировать энкодер в собственные модели управления взглядом или робототехнические рецепты (чекпоинт использовался в рецептах CoRL-v5).
Пример
from pathlib import Path
import torch
from huggingface_hub import snapshot_download
from fovi.models import get_model_from_base_fn
folder = Path(snapshot_download("fovi-pytorch/fovi-dinov3-splus_omni-warped-cartesian_res-128_in1k"))
model = get_model_from_base_fn(str(folder), device="cuda", load_strict=True,
**{"pretrained_model.path": str(folder / "backbone"), "pretrained_model.load_weights": False}).eval()
Подробнее
На полной валидации ImageNet-1k (50 000 изображений) общий Top-1 составляет 69.088% при 1 фиксации и вырастает до 75.918% при 20 фиксациях (Top-5 — 88.592% и 92.886% соответственно).При слабой фовеации (
cmf_a = 100) точность Top-1 достигает 75.99% за 1 взгляд и 79.77% за 20 взглядов, при экстремальной (cmf_a = 0.001) — 53.60% и 67.86%.Для запуска требуется библиотека
fovi[models]==2.6.0 и GPU (CUDA); пакет использует собственный загрузчик FOVI и не совместим с transformers.AutoModel.Ограничения: модель не является RL-политикой выбора взгляда, поддерживает только 7 заданных уровней CMF и обучена на планарной, а не сферической проекции.










Комментарии