Real-ESRGAN-MLX
апскейл фото в 4 раза на чипах Apple Silicon
2 мин чтения
Порт популярной модели улучшения и увеличения изображений Real-ESRGAN x4plus (RealESRGAN_x4plus.pth) на фреймворк MLX от команды Moonbox. Модель решает задачу blind super-resolution — повышает разрешение картинок в 4 раза и восстанавливает детали на обычных фотографиях. Сборка предназначена специально для Mac с процессорами Apple Silicon и избавляет от необходимости тянуть тяжёлые зависимости вроде PyTorch: для запуска нужны только mlx и numpy. Подойдёт владельцам Mac, которым нужен быстрый локальный апскейлер для обработки фото или интеграции в свои Python-скрипты.
Ключевые особенности
- Две версии точности: доступны папки с весами в форматах
fp16иbf16, каждая весит всего 33,5 МБ. - Минимальные расхождения с оригиналом: вариант
fp16почти идентичен оригинальной PyTorch-версии (средний PSNR 54,3 дБ, LPIPS не выше 0,0004). - Высокая скорость работы: апскейл изображения ~130×130 в 4 раза на чипе M5 занимает 0,25 с для
fp16и 0,28 с дляbf16. - Тайловая обработка: встроенная функция
upscaleобрабатывает картинку фрагментами (тайлами по 256 пикселей), что экономит память.
Что можно сделать
- Повышать разрешение старых или сжатых фотографий в 4 раза локально на MacBook без облачных сервисов и видеокарт NVIDIA.
- Встроить лёгкий 33-мегабайтный модуль в локальный пайплайн генерации изображений на MLX для постобработки готовых кадров.
- Пакетно улучшать фотоархивы через простой Python-скрипт без установки PyTorch и BasicSR.
Пример
import numpy as np, mlx_model
from PIL import Image
model = mlx_model.load("fp16")
out = mlx_model.upscale(model, np.array(Image.open("in.png").convert("RGB")))
Image.fromarray(out).save("out.png")Подробнее
Качество относительно PyTorch fp32:fp16 — PSNR 54,3 дБ в среднем (46,9 дБ минимум), LPIPS <= 0,0004; bf16 — PSNR 40,8 дБ в среднем (30,7 дБ минимум), LPIPS <= 0,015.Квантованных версий (8/6/4-bit) нет, так как сеть полностью состоит из свёрточных слоёв, которые MLX не квантует.
Для работы необходимо держать все файлы из выбранной папки (
model.safetensors, config.json, mlx_model.py) вместе.Лицензия: BSD-3-Clause.










Комментарии