AcuiVision RT-DETR R18
детекция тилапии для рыбных ферм
2 min readupdated
Компактная модель компьютерного зрения на 20M параметров, дообученная для обнаружения тилапии на кадрах видеонаблюдения. В основе лежит архитектура RT-DETR R18 (детектор объектов реального времени на базе трансформеров от PekingU), в которой стандартную голову классификации COCO заменили на один класс — рыба. Модель не определяет конкретный вид рыбы и не строит маски сегментации, а только находит объекты в кадре с помощью ограничивающих рамок (bounding boxes). Подойдёт разработчикам систем мониторинга для установок замкнутого водоснабжения (RAS) и рыбных хозяйств.
Ключевые особенности
- Компактность и скорость: вес чекпоинта всего около 80.5 МБ, а медианная задержка инференса на видеокарте Tesla T4 составляет около 40 мс на кадр.
- Честное разделение данных: дообучение проводилось на 256 кадрах из датасета TilapiaVision и 32 кадрах RAS без утечки аугментированных копий между обучающей и тестовой выборками.
- Минимальные требования к памяти: на пике модель занимает около 194 МБ VRAM в точности float32 при разрешении 640x640.
- Пилотный статус: автор отдельно отмечает, что это предварительный экспериментальный чекпоинт, проверенный на одном тестовом видео без гарантии стабильности на любых фермах.
Что можно сделать
- Встроить в пайплайн видеонаблюдения в аквакультуре для отслеживания наличия и примерного подсчёта тилапии в бассейнах (с учётом погрешности count MAE 11.6).
- Использовать как лёгкую базовую модель (baseline) для дальнейшего дообучения на собственных видеозаписях с рыбных ферм через библиотеку
transformers.
Пример
Сценарий использования из протокола тестирования: подача кадров с подводной или надводной камеры в разрешении 640×640 с порогом уверенности (confidence) 0.3 и порогом пересечения рамок (bbox IoU) 0.5. На выходе модель возвращает координаты прямоугольных рамок для обнаруженных особей тилапии без сегментационных масок.
Подробнее
Метрики на тестовом видео (16 кадров): mAP50 — 0.289, mAP50-95 — 0.151, Precision — 0.095, Recall — 0.525, Count MAE — 11.625.Железо и скорость: замер на Tesla T4 (float32, max640), медианная задержка 0.0399 с, пик VRAM ~194 МБ, размер файла ~80.5 МБ.
Ограничения: только детекция одного класса без масок и видовой классификации; метрики для форели отсутствуют.
Лицензия базы: Apache-2.0 (на основе PekingU/rtdetr_r18vd), датасеты обучения — CC BY 4.0.










Comments