Photo Denoising Autoencoder
простой автоэнкодер для очистки фото от шума
2 min readupdated
Лёгкая свёрточная модель (около 2 млн параметров), которая убирает синтетический гауссовский шум с цветных фотографий. Энкодер сжимает изображение вчетверо по ширине и высоте, а декодер восстанавливает чистый снимок из этого сжатого представления без skip-connections (прямых пробросов признаков между слоями). Модель создана автором nisarganag в рамках курсовой работы по глубокому обучению и подойдёт студентам или разработчикам, которым нужен наглядный и компактный пример работы denoising-автоэнкодера в PyTorch.
Ключевые особенности
- Компактная архитектура на 1 987 203 параметра, обученная на 400 фотографиях из датасета BSDS500.
- Работает с аддитивным белым гауссовским шумом уровня σ 5–50 по шкале 0–255.
- На тесте CBSD68 заметно обходит классические фильтры вроде Gaussian blur, Median filter и Non-local means.
- Веса и код модели выложены под свободной лицензией MIT, также доступно интерактивное демо.
Что можно сделать
- Использовать как готовый наглядный пример для изучения работы свёрточных автоэнкодеров и задач image-to-image на PyTorch.
- Встроить в учебные или исследовательские пайплайны для очистки цветных снимков от синтетического гауссовского шума.
- Взять за базовый бейзлайн при экспериментах с добавлением skip-connections или обучением на других типах искажений.
Пример
from huggingface_hub import hf_hub_download
hf_hub_download("nisarganag/photo-denoising-autoencoder", "model.py", local_dir=".")
import numpy as np
from PIL import Image
from model import DenoisingAutoencoder, add_gaussian_noise, denoise, image_to_tensor, tensor_to_image
model = DenoisingAutoencoder.from_pretrained("nisarganag/photo-denoising-autoencoder").eval()
clean = image_to_tensor(np.array(Image.open("photo.png").convert("RGB")))
noisy = add_gaussian_noise(clean, sigma=25)
Image.fromarray(tensor_to_image(denoise(model, noisy))).save("cleaned.png")
Подробнее
Метрики на CBSD68 (PSNR / SSIM): 32.97 dB / 0.922 при σ=15, 30.65 dB / 0.876 при σ=25 и 27.41 dB / 0.776 при σ=50.Обучение: 17 эпох (46,9 минуты) на Apple M4 GPU (PyTorch MPS) с функцией потерь MSE и оптимизатором Adam.
Ограничения: из-за сжатия вчетверо слегка сглаживает мелкие текстуры и тонкие линии; не предназначена для реального шума камер, JPEG-артефактов, шума «соль и перец», медицинских или криминалистических снимков.










Comments