DiffVax immunizer (ONNX)
защита фото от AI-редактирования в браузере
2 мин чтенияобновлено
Это ONNX-версия обученной нейросети DiffVax, которая добавляет на изображения незаметные искажения, мешающие диффузионным моделям их перерисовывать. Модель основана на архитектуре NestedUNet (~9,16 млн параметров) от авторов статьи DiffVax (ICLR 2026) и сконвертирована пользователем coldmew для запуска в браузере через ONNX Runtime Web. На выходе она выдаёт тензор-поправку, который накладывается на исходную картинку с учётом маски защищаемой области. Инструмент пригодится разработчикам веб-приложений для приватности, авторам контента и исследователям безопасности генеративных моделей.
Ключевые особенности
- Запуск в браузере: вес файла всего ~36,6 МБ, модель готова к работе в ONNX Runtime Web через WebGPU и WASM без серверного бэкенда.
- Точность конвертации: максимальное расхождение с оригинальным чекпоинтом PyTorch составляет не более
1.5e-6(и до1.4e-7в браузере). - Формат работы: принимает статичный RGB-тензор
[1,3,512,512]в диапазоне[-1, 1](Opset 17) и возвращает поправку того же размера. - Открытая лицензия: распространяется под лицензией MIT с сохранением оригинальных весов из репозитория DiffVax.
Что можно сделать
- Встроить защиту изображений прямо на клиентскую сторону веб-сервиса (как это сделано в проекте Veil), чтобы пользователи могли обрабатывать фото локально.
- Использовать как быстрый препроцессинг перед публикацией картинок в сеть, маскируя области, которые нежелательно отдавать под AI-инпейнтинг.
- Проводить эксперименты по устойчивости различных диффузионных редакторов к методу иммунизации без необходимости разворачивать PyTorch-окружение.
Пример
На вход подаётся изображение image размером 512×512 (RGB в диапазоне [-1, 1]) и маска области редактирования mask (где 1 — зона, которую редактор будет перерисовывать). Итоговое защищённое изображение собирается по формуле из оригинального репозитория: immunized = clamp(image + output * (1 - mask), -1, 1).
Подробнее
Архитектура: NestedUNet(num_classes=3), ~9.16M параметров, вес 36,6 МБ.Сравнение с PyTorch: max |Δ| ≤ 1.5e-6 (CPU/ORT), max |Δ| ≤ 1.4e-7 (WebGPU/WASM).
Ограничения: исследовательская модель, реальный эффект защиты зависит от конкретной модели редактирования и не гарантируется.










Комментарии