RunningTensor ImageNet-1k Tiny

Набор весов для классификации изображений на ImageNet-1k: RunningTensor и три опубликованных linear-time baseline, обученные по одному рецепту. Внутри семь каталогов с чекпоинтами и логами; размеры моделей — около 5–7 млн параметров, архитектурная оболочка — ViT-Tiny шириной 192.

⚡ Ключевые особенности

• 📊 Семь вариантов с итоговыми top-1/top-5 на валидации ImageNet-1k.
• 🥇 Лучший результат у rt-cumulative-gate: 76.10 top-1 и 92.96 top-5.
• 🔍 Есть сравнение с vim, gated-deltanet и vil-longhorn при одинаковом рецепте обучения.
• ⚙ Различие rt-cumulative-gate и rt-as-published — суммирование forget gate g вдоль последовательности; это даёт +0.72 top-1.
• 📌 В каждом каталоге лежат final.pth и log.txt с метриками по эпохам.

💻 Пример

import torch
ck = torch.load("rt-cumulative-gate/final.pth", map_location="cpu", weights_only=False)
model.load_state_dict(ck["model"])        # или ck["model_ema"]

Подробнее

Обучение: ViT-Tiny width 192, global batch 1024, 300 эпох, 1 244 160 изображений за эпоху.
Чекпоинты содержат model и model_ema, но без состояния оптимизатора: подходят для оценки и файнтюна, не для продолжения обучения.
Код оценки и заметки по каждому варианту — в vision_imagenet/ исходного репозитория.