FactEmbed
факторизованные MLLM-эмбеддинги для composed image retrieval
1 min read
FactEmbed — исследовательская модель для Composed Image Retrieval (CIR): поиска целевого изображения по референсному изображению и тексту модификации. Построена на базе Qwen2.5-VL-7B-Instruct и разделяет понимание составного запроса и построение дискриминативных retrieval-эмбеддингов.
Ключевые особенности
- Факторизованные латенты моделируют целевые визуальные модификации через intermediate target-imagination objective.
- Используется factor-level contrastive loss и дистилляция декомпозированных представлений в более глубокий attention layer MLLM.
- Для инференса сохраняется [EOS] token как глобальный эмбеддинг; mean-pooled факторизованные латенты реранжируют короткий список кандидатов в том же forward pass.
- Чекпоинты обучены для FashionIQ и CIRR: stage3 — финальная модель для retrieval, stage1–2 — для воспроизводимости.
Пример
bash scripts/eval/eval_fashioniq.sh <path to fashioniq/stage3>
bash scripts/eval/eval_cirr.sh --model_path <path to cirr/stage3>
Подробнее
Бенчмарки: FashionIQ и CIRR; в карточке заявлено превосходство над prior works, конкретные цифры не приведены.Требования к VRAM/железу и ограничения в карточке не указаны.
Обучение: stage1 — target-imagination warm-up, stage2 — joint training (retrieval + imagination + distillation), stage3 — post-training с augmented triplets.










Comments