Retinexformer

Retinexformer — одностадийная Retinex-based Transformer для улучшения изображений при низком освещении, представленная на ICCV 2023. Модель оценивает освещение, чтобы осветлить кадр, и восстанавливает искажения, связанные со съёмкой при слабом свете. Репозиторий содержит PyTorch-чекпоинты для разных датасетов и NTIRE 2024; для запуска нужен код и конфигурация из GitHub-проекта.

👌 Ключевые особенности

• 👍 Illumination-Guided Transformer использует признаки освещения, чтобы направлять взаимодействие между областями с разным светом.
• 📝 Чекпоинты для LOL-v1, LOL-v2 real/synthetic, SID, SMID, SDSD indoor/outdoor, MIT-Adobe FiveK и NTIRE 2024.
• 😃 NTIRE 2024 — First Runner-Up; решения NTIRE 2025 и 2026 также построены на Retinexformer.
• 🤔 Веса MST++ для NTIRE 2024 требуют архитектуру MST++ и не загружаются в Retinexformer.

📝 Пример

pip install -U huggingface_hub
hf download CaiYuanhao/Retinexformer --include "*.pth" --local-dir pretrained_weights
python Enhancement/test_from_dataset.py --opt Options/RetinexFormer_LOL_v1.yml --weights pretrained_weights/LOL_v1.pth --dataset LOL_v1

Подробнее

ICCV 2023; в NTIRE 2024 решение заняло второе место.
Чекпоинты требуют соответствующую YAML-конфигурацию и датасет.
Команда тестирования рассчитана на датасет, а не на произвольную папку фотографий.
Для воспроизведения ICCV 2023 рекомендуют PyTorch 1.11, для NTIRE 2024 — PyTorch 2; тестовый скрипт использует CUDA.