PIM
чекпоинты для поиска следов AI-генерации на изображениях
2 min readupdated
PIM — официальный репозиторий чекпоинтов для задачи обнаружения и сегментации AI-сгенерированных изображений. Модель работает как сегментатор: на выходе получаешь попиксельную маску областей, которые сеть относит к генерации, а не просто ответ «фейк/не фейк». В карточке выложена версия v1, обученная 10 эпох; лучший validation score — 0.852. В cross-evaluation сравниваются два чекпоинта, sid_pim_swin и sid_focal_hrnet, на датасете CASIA v2.0. Это узкий исследовательский инструмент: пригодится, если нужно проверить изображение на следы генерации и посмотреть, где именно модель видит артефакты.
Ключевые особенности
- Два чекпоинта:
sid_pim_swinиsid_focal_hrnet; в отчёте лучше себя показывает swin-вариант. - Сегментация, а не только классификация: модель выдаёт маску по пикселям.
- На CASIA v2.0 у
sid_pim_swin: AUROC 1.0000 и pixel accuracy 0.9088, но IoU/Dice всего 0.2000. - У
sid_focal_hrnetна том же тесте IoU/Dice 0, AUROC 0.0063 — чекпоинт явно не сработал на этой конфигурации. - Репозиторий заточен под CLI
sid-pull,sid-trainиsid-push.
Что можно сделать
- Скачать
v1и прогнать на своих изображениях, чтобы получить маску предполагаемых AI-артефактов. - Сравнить
sid_pim_swinиsid_focal_hrnetна своём наборе — карточка показывает, что разница между ними огромна. - Дообучить чекпоинт через
sid-train, если есть размеченные маски. - Встроить в исследовательский пайплайн проверки медиа на генерацию.
Пример
sid-pull --name KhangTruong/PIM
sid-pull --name KhangTruong/PIM --version v1
sid-train --resume checkpoints/checkpoint_latest.pt
Подробнее
Версия v1: лучший validation score 0.852 на эпохе 10, всего 10 эпох.Cross-eval на CASIA v2.0 всего на 20 сэмплах: у sid_pim_swin loss 0.6689, IoU/Dice 0.2000, AUROC 1.0000, pixel acc 0.9088.
У sid_focal_hrnet loss 1.4154, IoU/Dice 0, AUROC 0.0063, pixel acc 0.0063.
Ограничение: метрики на маленькой выборке, а карточка не описывает датасет обучения и требования к VRAM.










Comments