К содержимому
Другое

VoxScout

детектор людей с дрона для поисково-спасательных работ

2 мин чтенияобновлено

VoxScout находит людей на аэрофотоснимках с направленной вниз камеры дрона: модель принимает фрагмент (тайл) размером 160×160 пикселей и возвращает сетку 40×40 с тепловой картой центров и примерными размерами рамки вокруг человека. В основе лежит архитектура EfficientNet-B0 от Google с предобученными на ImageNet весами и головой детекции в стиле CenterNet без анкеров (anchor-free — без заранее заданных шаблонов рамок), дообученная автором Erdem Aslan на датасете HERIDAL. В отличие от родственного проекта VoxHOD, модели которого обучаются с нуля, предобучение на ImageNet позволило снизить число ложных срабатываний в 6–9 раз при той же полноте обнаружения. Модель пригодится разработчикам бортовых систем БПЛА, наземных станций и мобильных приложений для поиска пропавших людей.

Ключевые особенности

  • Компактный размер: 4,35 млн параметров; версия с квантованием int8 в формате TFLite весит всего 5,2 МБ.
  • Меньше ложных тревог: на тесте HERIDAL даёт 0,036 ложных срабатываний на тайл при 78% полноты (recall) против 0,32–0,33 у моделей VoxHOD.
  • Два формата весов: полная float-модель в voxscout.h5 для точных расчётов и квантованная voxscout_int8.tflite для запуска на устройствах.
  • Оптимизация под поисковые сценарии: модель показывает, куда именно смотреть спасателям, выделяя локальные максимумы тепловой карты выше порога 0.34.

Что можно сделать

  • Поставить вторым каскадом на наземную станцию, смартфон или бортовой компьютер дрона для проверки кадров, отобранных более лёгкой моделью.
  • Интегрировать voxscout_int8.tflite в мобильное или десктопное приложение для быстрой разметки аэрофотосъёмки при поиске людей.

Пример

import numpy as np, tensorflow as tf
from PIL import Image

interpreter = tf.lite.Interpreter(model_path="voxscout_int8.tflite")
interpreter.allocate_tensors()
inp, out = interpreter.get_input_details()[0], interpreter.get_output_details()[0]
tile = np.asarray(Image.open("tile.png").convert("RGB").resize((160, 160)), np.float32) / 127.5 - 1
interpreter.set_tensor(inp["index"], np.clip(np.round(tile / inp["quantization"][0] + inp["quantization"][1]), -128, 127).astype(np.int8)[None])
interpreter.invoke()
Подробнее Метрики (float-версия): на тесте HERIDAL при пороге 0.34 модель находит 79,8% людей с точностью (precision) 67,0%; при 0,1 ложного срабатывания на тайл полнота достигает 84,1%.
Железо и скорость: на CPU ноутбука TFLite-версия обрабатывает один тайл примерно за 0,4 с в 2 потока; точность и скорость int8-файла на микроконтроллерах пока не замерялись.
Ограничения: обучена только на летних дневных снимках преимущественно средиземноморской местности (снег, лес, вода, ночь и тепловизор не тестировались), хуже распознаёт совсем мелких людей размером 8–16 пикселей.
Лицензия: веса доступны под CC BY 4.0, код и документация — под Apache 2.0.
Обсудить Telegram 0 7

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.0 GB · готовые файлы0.5 GB
  • FP8 / INT8рекомендуемвеса 0.0 GB0.5 GB
  • 4-bitвеса 0.0 GB0.5 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # inviolus/VoxScout
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download inviolus/VoxScout --local-dir ~/models/VoxScout
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к VoxScout
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии VoxScout — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

inviolus/VoxScout
Автор
inviolus
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

70

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии