FactEmbed

FactEmbed — исследовательская модель для Composed Image Retrieval (CIR): поиска целевого изображения по референсному изображению и тексту модификации. Построена на базе Qwen2.5-VL-7B-Instruct и разделяет понимание составного запроса и построение дискриминативных retrieval-эмбеддингов.

✨ Ключевые особенности

• ✅ Факторизованные латенты моделируют целевые визуальные модификации через intermediate target-imagination objective.
• ✅ Используется factor-level contrastive loss и дистилляция декомпозированных представлений в более глубокий attention layer MLLM.
• ✅ Для инференса сохраняется [EOS] token как глобальный эмбеддинг; mean-pooled факторизованные латенты реранжируют короткий список кандидатов в том же forward pass.
• ✅ Чекпоинты обучены для FashionIQ и CIRR: stage3 — финальная модель для retrieval, stage1–2 — для воспроизводимости.

💥 Пример

bash scripts/eval/eval_fashioniq.sh <path to fashioniq/stage3>
bash scripts/eval/eval_cirr.sh --model_path <path to cirr/stage3>

Подробнее

Бенчмарки: FashionIQ и CIRR; в карточке заявлено превосходство над prior works, конкретные цифры не приведены.
Требования к VRAM/железу и ограничения в карточке не указаны.
Обучение: stage1 — target-imagination warm-up, stage2 — joint training (retrieval + imagination + distillation), stage3 — post-training с augmented triplets.