nf_cbamresnet50.anfr_in1k
бэкбон ResNet-50 без нормализации для федеративного обучения
2 min readupdated
Компактная модель классификации изображений (28,07 млн параметров), предобученная на датасете ImageNet-1k. Архитектура основана на модифицированной ResNet-50 без слоёв нормализации активаций, но с масштабируемой стандартизацией весов и модулями внимания CBAM в каждом блоке. Веса опубликованы авторами статьи в журнале TMLR (2025) как стартовый бэкбон для экспериментов по федеративному обучению, где стандартная пакетная нормализация часто деградирует на неоднородных данных. Модель пригодится исследователям и ML-инженерам для задач компьютерного зрения и распределённого обучения на устройствах.
Ключевые особенности
- Без нормализации активаций: использует scaled weight standardization вместо привычных слоёв нормализации, что повышает устойчивость при работе с неоднородными батчами.
- Внимание CBAM: в каждый блок сети встроен механизм канального внимания (CBAM) для адаптивной перекалибровки признаков.
- Усреднённые веса (EMA): в чекпоинт сохранено экспоненциальное скользящее среднее весов с обучения (decay 0.9999) — именно эти веса использовались в статье.
- Интеграция с timm: загружается напрямую через
timm.create_modelпосле предварительной регистрации архитектуры из репозитория авторов.
Что можно сделать
- Запустить федеративное обучение: использовать веса как базовый энкодер в сценариях Federated Learning при сильной неоднородности данных (non-IID).
- Дообучить под свою классификацию: адаптировать бэкбон под прикладную задачу распознавания картинок размером 224×224 через библиотеку timm.
Пример
import timm
import fl_bench.networks.anfr # регистрирует nf_cbamresnet50
model = timm.create_model("hf_hub:adcw447/nf_cbamresnet50.anfr_in1k", pretrained=True)Подробнее
Качество на ImageNet-1k: 80.37% (top-1 accuracy).Вход: изображения 224×224, бикубическая интерполяция, стандартная нормализация ImageNet.
Обучение: оптимизатор RMSProp (вариант TensorFlow), batch size 1024, lr 0.09, RandAugment, mixup 0.2, drop path 0.1.
Ограничение: архитектура не встроена в timm по умолчанию — перед загрузкой нужно импортировать модуль из репозитория ANFR.










Comments