BFL
восстановление 3D-формы птиц с учётом таксономии
2 мин чтенияобновлено
Модель решает задачу 3D-реконструкции тела птиц по изображениям, помогая точнее восстанавливать пропорции и позы пернатых. Она представляет собой файнтюн (дообученную версию) архитектуры AniMer+, обученный авторами статьи для конференции NeurIPS 2026. Главная особенность — использование таксономического априорного распределения Орнштейна — Уленбека (математической модели эволюционного сходства видов) на этапе обучения. При этом во время инференса (генерации результата) модель работает как стандартная AniMer+ без дополнительных усложнений. Разработка пригодится исследователям в области компьютерного зрения, биоинформатики и создателям 3D-контента для симуляций.
Ключевые особенности
- Обучена на датасете CtrlAVES3D в течение 30 000 шагов с учётом таксономических связей видов.
- Таксономический приор применяется только при обучении — на этапе инференса это обычная архитектура AniMer+.
- В репозитории доступны как основной чекпоинт
bfl.pt, так и веса для абляционных исследований (taxonomy_real.ptиtaxonomy_permuted.pt). - Все файлы сохранены в формате
torch.saveи содержат словарь с весамиmodel_state, шагом обучения и метриками.
Что можно сделать
- Восстанавливать 3D-модели птиц различных видов на специализированных датасетах вроде CUB или CowBird.
- Воспроизвести эксперименты и бенчмарки из статьи NeurIPS 2026 с помощью официального скрипта оценки
eval.py. - Использовать чекпоинты как готовую базу для дальнейшего анализа 3D-поз и морфологии животных в задачах компьютерного зрения.
Пример
python scripts/download_checkpoints.py
python eval.py --ckpt checkpoints/bfl.pt --dataset COWBIRD --out-json outputs/bfl/eval_COWBIRD.jsonПодробнее
Метрики основного чекпоинта bfl.pt: CUB AUC — 89.31, CUB PCK@0.1 — 57.91.На бенчмарке CowBird: AUC — 60.91, PCK@0.1 — 19.26; на CtrlAVES3D: AUC — 93.04.
Оценка проводилась с помощью скрипта eval.py на видеокарте RTX 4090.
Полный код для установки, загрузки весов и запуска доступен на GitHub (rocknroll17/BFL).










Комментарии