VoxScout
детектор людей с дрона для поисково-спасательных работ
2 мин чтенияобновлено
VoxScout находит людей на аэрофотоснимках с направленной вниз камеры дрона: модель принимает фрагмент (тайл) размером 160×160 пикселей и возвращает сетку 40×40 с тепловой картой центров и примерными размерами рамки вокруг человека. В основе лежит архитектура EfficientNet-B0 от Google с предобученными на ImageNet весами и головой детекции в стиле CenterNet без анкеров (anchor-free — без заранее заданных шаблонов рамок), дообученная автором Erdem Aslan на датасете HERIDAL. В отличие от родственного проекта VoxHOD, модели которого обучаются с нуля, предобучение на ImageNet позволило снизить число ложных срабатываний в 6–9 раз при той же полноте обнаружения. Модель пригодится разработчикам бортовых систем БПЛА, наземных станций и мобильных приложений для поиска пропавших людей.
Ключевые особенности
- Компактный размер: 4,35 млн параметров; версия с квантованием int8 в формате TFLite весит всего 5,2 МБ.
- Меньше ложных тревог: на тесте HERIDAL даёт 0,036 ложных срабатываний на тайл при 78% полноты (recall) против 0,32–0,33 у моделей VoxHOD.
- Два формата весов: полная float-модель в
voxscout.h5для точных расчётов и квантованнаяvoxscout_int8.tfliteдля запуска на устройствах. - Оптимизация под поисковые сценарии: модель показывает, куда именно смотреть спасателям, выделяя локальные максимумы тепловой карты выше порога 0.34.
Что можно сделать
- Поставить вторым каскадом на наземную станцию, смартфон или бортовой компьютер дрона для проверки кадров, отобранных более лёгкой моделью.
- Интегрировать
voxscout_int8.tfliteв мобильное или десктопное приложение для быстрой разметки аэрофотосъёмки при поиске людей.
Пример
import numpy as np, tensorflow as tf
from PIL import Image
interpreter = tf.lite.Interpreter(model_path="voxscout_int8.tflite")
interpreter.allocate_tensors()
inp, out = interpreter.get_input_details()[0], interpreter.get_output_details()[0]
tile = np.asarray(Image.open("tile.png").convert("RGB").resize((160, 160)), np.float32) / 127.5 - 1
interpreter.set_tensor(inp["index"], np.clip(np.round(tile / inp["quantization"][0] + inp["quantization"][1]), -128, 127).astype(np.int8)[None])
interpreter.invoke()
Подробнее
Метрики (float-версия): на тесте HERIDAL при пороге 0.34 модель находит 79,8% людей с точностью (precision) 67,0%; при 0,1 ложного срабатывания на тайл полнота достигает 84,1%.Железо и скорость: на CPU ноутбука TFLite-версия обрабатывает один тайл примерно за 0,4 с в 2 потока; точность и скорость int8-файла на микроконтроллерах пока не замерялись.
Ограничения: обучена только на летних дневных снимках преимущественно средиземноморской местности (снег, лес, вода, ночь и тепловизор не тестировались), хуже распознаёт совсем мелких людей размером 8–16 пикселей.
Лицензия: веса доступны под CC BY 4.0, код и документация — под Apache 2.0.










Комментарии