MFAF-Net
симуляция косметических операций на фото без GPU
2 min readupdated
MFAF-Net — исследовательский прототип, который по фотографии и анкете пациента (возраст, пол, тип кожи по Фицпатрику, история процедур) строит приблизительное изображение лица после косметической операции. Он находит 468 точек лица через MediaPipe FaceMesh, добавляет 12-мерный вектор данных пациента и с procedure-aware attention (маской внимания к анатомической зоне операции) геометрически деформирует фото через Delaunay-триангуляцию и аффинное преобразование. Поддерживаются ринопластика, блефаропластика, подтяжка лица, гениопластика, уменьшение лба и подъём бровей; на выходе — изображение, тепловая карта различий и метрики SSIM/PSNR/MAE. В отличие от LandmarkDiff, не требует GPU и Stable Diffusion 1.5 + ControlNet, а работает на CPU через Flask. Это proof-of-concept для исследователей и клинической коммуникации, а не медицинский прибор.
Ключевые особенности
- Мультимодальный вход: фото + возраст, пол, тип кожи и история лечения.
- 468 landmarks MediaPipe FaceMesh и геометрические измерения лица.
- Procedure-aware attention: зона, важная для выбранной операции, получает 3× вес.
- Полностью CPU-пайплайн на Flask: без diffusion-моделей и GPU.
- Количественная оценка: SSIM, PSNR, MAE, доля изменённых пикселей и heatmap.
Что можно сделать
- Показать, как примерно может выглядеть нос после ринопластики или веки после блефаропластики, на учебных примерах.
- Собрать Flask-демо для исследовательской группы: загрузка фото, выбор процедуры и отчёт с метриками.
- Прогнать набор before/after из датасета и сравнить геометрические симуляции по SSIM/PSNR.
- Использовать как лёгкий CPU-baseline рядом с LandmarkDiff, когда нет GPU.
Пример
pip install -r requirements.txt
python setup_dirs.py
python run.py
# затем открыть http://localhost:5000
Подробнее
6 процедур: ринопластика, блефаропластика, ритидэктомия, гениопластика, операция на лбу и подъём бровей.468 landmarks, 12-мерный вектор пациента, procedure-aware attention с весом 3×.
Метрики: SSIM, PSNR, MAE, Changed Pixel %; запуск через Flask на CPU.
Ограничение: академический proof-of-concept, не сертифицированное медицинское изделие; симуляция — геометрическая аппроксимация.










Comments