YOLO26s и RT-DETR-l
детекторы посадочной площадки для AirSim
3 min readupdated
Две модели Ultralytics учатся находить H-маркер посадочной площадки 1 × 1 м в кадре с камеры дрона, направленной вниз: 640 × 640, угол обзора 90°, сцена Microsoft AirSim. Это YOLO26s (CNN без NMS, 20 МБ) и RT-DETR-l (CNN + transformer-decoder, 66 МБ), дообученные с COCO-весов. Проект студенческий: проверить, сможет ли TensorRT-детектор на Jetson Orin Nano выдавать ≥ 20 FPS end-to-end, чтобы логика посадки решала — снижаться или прервать. Важно: модели обучены и протестированы только на синтетике из одной сцены, поэтому почти идеальные метрики — потолок чистого датасета, а не доказательство работы на реальном дроне. Подойдут для воспроизведения экспериментов и как стартовая точка, но не для реальных полётов.
Ключевые особенности
- Две архитектуры на выбор: YOLO26s — CNN без NMS, 20 МБ; RT-DETR-l — гибрид CNN и transformer-decoder, 66 МБ.
- Обучение на синтетике AirSim: 3000 train / 500 val, один класс
landingsplatform, углы 0–45°, дистанция 4–32 м, около 10% негативов. - На ПК с PyTorch: YOLO26s — 15 мс, RT-DETR-l — 36 мс; mAP50 0.995 и 0.994, mAP50-95 0.976 и 0.980.
- На Jetson Orin Nano 15 Вт: YOLO26s FP16 — 9.4 мс и 22.6 chain FPS в среднем; RT-DETR-l FP16 — 36.1 мс и 13.7 FPS.
- Ограничение важнее цифр: одна синтетическая сцена; в тумане и темноте recall резко падает, для реального UAV не предназначено.
Что можно сделать
- Воспроизвести сравнение FP32, FP16 и INT8 на Jetson Orin Nano: в карточке есть рецепт сборки TensorRT-движков и Docker-образ.
- Взять как baseline для sim-to-real: добавить погоду, текстуры, шум и motion blur, затем сравнить деградацию.
- Собрать учебный пайплайн точной посадки в AirSim, где детектор решает, снижаться или прервать, а полёт идёт по известной позиции.
- Проверить эффект INT8 на мелких объектах: на 30 м площадка занимает около 11 px, у YOLO26s INT8 есть потеря локализации.
Пример
from ultralytics import YOLO, RTDETR
model = YOLO('yolo26s.pt') # или RTDETR('rtdetr-l.pt')
results = model('frame.jpg', imgsz=640, conf=0.5)
model.export(format='engine', half=True, imgsz=640, batch=1)
model.export(format='engine', int8=True, data='calib.yaml', imgsz=640, batch=1)
Подробнее
Тест на ПК, 1000 изображений: mAP50-95 — 0.976 у YOLO26s и 0.980 у RT-DETR-l; при θ = 45° — 0.928 и 0.960.Jetson Orin Nano 15 Вт: YOLO26s FP16 — 9.4 мс, 22.6 chain FPS; RT-DETR-l FP16 — 36.1 мс, 13.7 FPS. В live-посадках ни один движок не дал в среднем 20 FPS.
Ограничения: только синтетика и одна сцена, нет обучения ниже 4 м, бокс не для управления позицией; TensorRT-движки работают только на той GPU и версии TensorRT, где собраны.
Лицензия AGPL-3.0, данные CC BY 4.0.










Comments