uav-rgb-lwir-cyclegan
синтез тепловизионных снимков из обычных RGB-фото с дронов
2 min readupdated
Модель переводит стандартные цветные снимки с беспилотников (RGB) в стилизованные длинноволновые инфракрасные изображения (LWIR — тепловизионный спектр). В основе лежит архитектура CycleGAN (нейросеть для перевода изображений из одного домена в другой без строгой парной разметки) с 9-блочным генератором ResNet на PyTorch. В отличие от физических симуляторов, чекпоинты не восстанавливают реальную температуру или радиометрические данные, а синтезируют нормализованный визуальный облик тепловизора. Пригодится исследователям в области компьютерного зрения для экспериментов по сопоставлению признаков между разными спектрами.
Ключевые особенности
- Включает два чекпоинта:
best_combined_generator.pth(7 эпоха, оптимизирован под метрику SSIM) иgeometry_candidate_generator.pth(12 эпоха с сохранением градиентов геометрии). - Работает с изображениями произвольного разрешения за счёт нарезки на перекрывающиеся тайлы размером 256×256 пикселей.
- На выходе сохраняет как нормализованный 16-битный PNG, так и 8-битное чёрно-белое превью.
- Строго исследовательский проект: авторы прямо предупреждают о слабом совпадении признаков (SIFT) с реальными тепловизорами и возможных артефактах текстур.
Что можно сделать
- Прогнать аэрофотосъёмку в RGB через
inference.py, чтобы получить визуальную стилизацию под тепловизор для тестов алгоритмов трекинга. - Сравнить поведение детекторов ключевых точек (SIFT/RANSAC) между исходным RGB, сгенерированным LWIR и реальными ИК-снимками.
- Использовать
batch_inference.pyдля пакетной обработки целых папок с кадрами с дронов в исследовательских пайплайнах.
Пример
python inference.py --input image.jpg --checkpoint geometry_candidate_generator.pth --output normalized_16bit.png --preview preview_8bit.pngПодробнее
Метрики на тесте CART (359 снимков): SSIM 0.6705 и PSNR 17.43 dB для чекпоинта 7 эпохи; SSIM 0.5667 и PSNR 14.12 dB для 12 эпохи.Сопоставление признаков с реальным LWIR (SIFT inliers/image): 0.00 для 7 эпохи и 0.078 (CART) / 0.125 (M3OT) для 12 эпохи.
Обучено на 709 парах из датасета CART (съёмка с высоты ~40 м); инференс поддерживает запуск на CPU через флаг
--device cpu.Ограничения: не подходит для геолокации и измерения температуры, возможны размытия и галлюцинации текстур.










Comments