Swin Base RoPE-Mixed

Это один из шести независимо обученных исследовательских чекпоинтов семейства Swin: Swin Base с конфигурацией shifted-window и обучаемыми смешанными RoPE-частотами, финальный запуск P6 (epoch 299). Авторы — Đoko Banđur и Miloš Banđur. Модель обучалась и оценивалась на ImageNet-1k для классификации изображений; это оригинальный PyTorch-чекпоинт, а не готовая HF-модель.

🔎 Ключевые особенности

• 🧭 Один из шести независимо обученных чекпоинтов Swin Base с обучаемыми смешанными RoPE-частотами; P6 — порядковый индекс запуска, а не числовой seed.
• 🎯 Top-1 accuracy 83.764% на валидации ImageNet-1k: 41 882 правильных ответа из 50 000 изображений.
• 📌 Финальный чекпоинт epoch 299, файл final_checkpoint.pth размером 1 054 162 173 байта; записанный random seed — 1203904911.
• ⚙ Это оригинальный PyTorch training checkpoint, а не пакет Hugging Face Transformers AutoModel: перед загрузкой нужна совместимая реализация RoPE-ViT и конфигурация.
• 🔐 Pickle-чекпоинты могут исполнять произвольный код при десериализации: загружайте только из доверенных источников и используйте безопасные режимы, если они совместимы с форматом.
• ❗ Готового end-to-end примера загрузки в карточке пока нет — он ожидает валидации.

🔎 Пример

Сценарий из карточки: для проверки воспроизводимости загрузите final_checkpoint.pth в совместимую реализацию RoPE-ViT с той же конфигурацией, затем прогоните классификацию ImageNet-1k validation. Для этого финального чекпоинта заявлен результат 83.764% Top-1.

Подробнее

Top-1: 83.764% (41 882 / 50 000) на ImageNet-1k validation.
Чекпоинт: final_checkpoint.pth, 1 054 162 173 байта, epoch 299.
Формат: оригинальный PyTorch checkpoint; может содержать optimizer/training state; это не AutoModel.
Ограничение: нет готового примера загрузки; нужна совместимая реализация RoPE-ViT.
Лицензия чекпоинта — BSD 3-Clause.