DON IT Fashion CIR Hybrid v0.1
поиск одежды по фото и текстовому описанию
2 мин чтенияобновлено
Исследовательская гибридная система от команды DON IT для задачи Composed Image Retrieval (поиск изображений по связке «исходное фото + текстовая правка»). Пользователь загружает картинку предмета гардероба и добавляет уточнение вроде «такое же платье, но с более высоким вырезом», а система ранжирует подходящие товары из каталога. В основе лежат базовые модели Qwen3-VL-Embedding-8B и Marqo FashionSigLIP, дополненные собственными адаптерами автора и внешней моделью CSMCIR. В отличие от одиночных моделей эмбеддингов, здесь применяется гибридное смешивание рангов через RRF (Reciprocal Rank Fusion — метод объединения нескольких списков выдачи). Пригодится разработчикам fashion-поисковиков и e-commerce систем визуального подбора товаров.
Ключевые особенности
- Гибридная архитектура из трёх ветвей: связка Qwen3-VL-Embedding-8B с fashion-LoRA (небольшой надстройкой над базовой моделью), Marqo FashionSigLIP с дистиллированной 768-мерной головой и внешний чекпоинт CSMCIR.
- Дистилляция на реальных парах: новая остаточная голова обучена на 12 917 пользовательских запросах из обучающей выборки датасета FashionIQ.
- Фиксированное слияние без подгонки под тест: веса ветвей (70% Qwen и 30% SigLIP) и объединение с CSMCIR через RRF (50/50 с константой 60) не настраивались на публичной валидации.
- Честная исследовательская прозрачность: авторы отдельно отмечают, что прирост над предыдущей версией гибрида (+0.167 п.п.) не является статистически значимым, а на категории рубашек метрика немного снизилась.
Что можно сделать
- Собрать поиск по каталогу одежды с уточнениями: использовать адаптеры и код скоринга для ранжирования платьев, рубашек и топов по запросам вида «такой же фасон, но другого цвета или кроя».
- Протестировать облегчённую связку без CSMCIR: запустить ветку Qwen3-VL + обученный student-модуль автономно, если нет возможности подключать сторонний чекпоинт CSMCIR.
Пример
Сценарий работы системы из карточки: на вход подаётся фотография платья и текстовая инструкция "the same dress but with a higher neckline" («такое же платье, но с более высоким вырезом»). Система исключает исходное фото из выдачи и ранжирует каталог внутри той же категории одежды, поднимая наверх модели с закрытым воротом.
Подробнее
На публичной валидации FashionIQ (6 016 запросов, 15 536 изображений) гибрид показал 59.5716% R@10 и 79.4064% R@50 (без CSMCIR — 56.3506% R@10).Обучение student-головы заняло 600 шагов на GPU A10G (выбран чекпоинт на 200-м шаге).
Ограничения: в репозитории пока выложены только веса адаптеров и код скоринга признаков без готового end-to-end инференса по сырым картинкам.
Для полного воспроизведения требуются сторонние веса Qwen3-VL-Embedding-8B, Marqo FashionSigLIP и CSMCIR; лицензия пока не указана.








Комментарии