ViSeLA-CUHK-PEDES-Baseline-Router
поиск людей по текстовому описанию на четырёх языках
2 min readupdated
Модель решает задачу text-based person retrieval (поиск фотографий конкретного человека по его словесному портрету) и работает сразу с английским, китайским, французским и немецким языками. Чекпоинт выпущен авторами одноимённой статьи, получившей награду Outstanding Paper Award на конференции ACM Multimedia 2026, и инициализирован на базе мультимодальной модели CCLM-X2VLM. Внутри связка визуального энкодера BEiT-2 и текстового XLM-RoBERTa с MoE-маршрутизацией (Mixture-of-Experts — распределение текстовых токенов между четырьмя экспертами по смыслу) и общими обучаемыми запросами для сопоставления признаков картинки и текста. Пригодится исследователям компьютерного зрения и разработчикам систем мультиязычного кросс-модального поиска.
Ключевые особенности
- Понимает поисковые запросы на 4 языках: английском, китайском, французском и немецком.
- Использует 4 эксперта для маршрутизации токенов по семантике и 4 обучаемых запроса для выравнивания визуальных и текстовых признаков.
- Архитектура объединяет BEiT-2 base для изображений, XLM-RoBERTa для текста и модуль мультимодального взаимодействия для переранжирования выдачи.
- Официальный чекпоинт baseline-router версии из репозитория ViSeLA (релиз v1.0.0) с проверочными суммами SHA256.
Что можно сделать
- Запустить демо-поиск людей по текстовому описанию на собственной галерее изображений через аргументы
--image-dirи--query. - Воспроизвести оценку точности на мультиязычном бенчмарке CUHK-PEDES(M) и сравнить результаты с полной конфигурацией MultiPedes.
- Использовать веса как отправную точку для академических экспериментов с кросс-модальными представлениями и семантической маршрутизацией.
Пример
python tools/demo_retrieval.py \
--checkpoint checkpoints/ViSeLA-CUHK-PEDES-Baseline-Router/visela_cuhk_pedes_baseline_router.pth \
--config checkpoints/ViSeLA-CUHK-PEDES-Baseline-Router/config.yaml \
--text-encoder FacebookAI/xlm-roberta-base \
--top-k 3Подробнее
Метрики на CUHK-PEDES(M) для этого чекпоинта: средний R@1 — 76.78% (EN: 78.22%, FR: 76.74%, DE: 76.10%, ZH: 76.07%), средний mAP — 68.67%.Для сравнения: полная версия ViSeLA с предобучением на MultiPedes и LogSumExp similarity в статье достигает 77.94% Avg R@1 и 70.16% Avg mAP.
Параметры чекпоинта: инициализация CCLM-X2VLM,
refiner.sim_type: avg, routing_temp: 0.85.Ограничения: кастомный формат PyTorch (
.pth), требует установки официального окружения ViSeLA и скачивания картинок датасета отдельно; предназначен для академических исследований.









Comments