MOA AnyDoor mix35000
модель для виртуальной примерки одежды
2 min readupdated
Чекпоинт дообученной диффузионной модели AnyDoor, созданный для веб-сервиса виртуальной примерки MOA. На вход подаётся фото человека и снимок верха одежды, а на выходе модель аккуратно «надевает» эту вещь на фигуру в нужной области. Архитектура сочетает Stable Diffusion, ControlNet (модуль управления композицией) и энкодер признаков DINOv2. В отличие от базового AnyDoor, весы специально адаптированы под задачи пересадки одежды и лучше держат её форму при разных ракурсах. Пригодится разработчикам сервисов онлайн-примерки и исследователям генеративной графики.
Ключевые особенности
- Специализация на одежде: модель дообучена на 25 321 паре изображений (датасет VITON-HD и корейский набор AI Hub с фронтальными и боковыми ракурсами 45°).
- Оптимизированный формат: файл весов
mix35000_fp16.ckpt(~4.9 ГБ) сохранён в 16-битной точности для U-Net, ControlNet, VAE и DINOv2, без лишних состояний оптимизатора. - Стабильная генерация: на тестовых проверках в формате сервиса MOA модель показала ноль сбоев генерации.
- Готовая обвязка: исходный код веб-сервиса и инструкция по запуску на одном ПК доступны в репозитории проекта на GitHub.
Что можно сделать
- Запустить виртуальную примерочную: подключить чекпоинт к серверной части сервиса MOA или официальному коду AnyDoor для автоматической примерки футболок, рубашек и другого верха на фото пользователей.
- Тестировать перенос одежды под углом: использовать модель для генерации картинок с людьми в ракурсах 45°, на которых модель целенаправленно обучалась.
Пример
Чекпоинт mix35000_fp16.ckpt запускается через официальный код AnyDoor (коммит 44ca2b2) либо в составе проекта CGI_MOA — для этого путь к файлу весов нужно указать в переменной окружения ANYDOOR_CKPT в конфигурации model_server. Подробная инструкция по локальному развёртыванию на одном ПК находится в файле local/README.md репозитория Jenny5789/CGI_MOA.
Подробнее
Validation loss на тесте VITON-HD (512 изображений): 0.0400 против 0.0563 у официальных весов AnyDoor (при замере в формате дообучения).Обучение: 35 000 шагов с batch size 32, AdamW (lr 1e-5) на 1 видеокарте NVIDIA B200.
Лицензия: строго некоммерческое использование из-за условий датасета VITON-HD (CC BY-NC 4.0).










Comments