PaleVision
эволюционный подход к спектральному зрению
2 мин чтения
Новая исследовательская модель с конференции NeurIPS 2026 исследует эволюцию цветного зрения (EVPL — эволюционные слои зрительного восприятия) для задач семантической сегментации на гиперспектральных изображениях. Решение моделирует спектральные отклики опсинов и объединяет их со сверточными сетями и сегментационными головками для работы со сложными спектральными данными. Разработка ориентирована на исследователей в области компьютерного зрения и спектральной обработки данных, которым требуется воспроизвести эксперименты или использовать готовые веса для анализа специфических датасетов.
Ключевые особенности
- EVPL-архитектура: Использование обучаемых слоев спектрального отклика на базе биологических моделей эволюции зрения.
- Высокие метрики: Наличие готовых SOTA-весов для датасетов MODID, MHSI и MinnApple с фиксированными результатами mIoU.
- Гибкость конфигураций: Поддержка различных бэкендов (включая MiT-B0, Twins-SVT-Small и PVT-v2-B2).
- Инструменты обучения: Скрипты на PyTorch и torchrun для многопроцессорного запуска экспериментов.
Что можно сделать
- Анализ Марса: Запустить обучение и оценку спектральных фильтров и сегментации на данных Mars MSL.
- Обработка агроданных: Применить чекпоинты для детекции, подсчета и сегментации на датасете MinnApple.
- Тестирование энкодеров: Выполнить замену энкодеров (encoder_swap_exp.py) с настраиваемыми режимами opsin_mode.
- Инференс весов: Загрузить готовые чекпоинты ( backbone, head и EVPL ) в Python-скриптах для тестирования на собственных данных.
Пример
import torch
ckpt = torch.load("weights/modid_twins_svt_small_free.pth", map_location="cpu")
backbone.load_state_dict(ckpt["backbone"])
head.load_state_dict(ckpt["head"])
evpl.load_state_dict(ckpt["evpl"])Подробнее
Бенчмарки: MODID (mIoU 0.6006), MHSI (mIoU 0.5727), MinnApple segmentation (mIoU 0.4845), MinnApple counting (MAE 2.446).Железо: NVIDIA GPU с достаточным объемом памяти для бэкендов в разрешении конфигов; возможна загрузка на CPU.
Ограничения: Весы содержат только параметры модулей без состояния оптимизатора; модели жестко привязаны к тренировочным датасетам.










Комментарии