SPEED+ Pose Estimator
чекпоинты для исследования позы космических аппаратов
2 мин чтенияобновлено
Модель предназначена для оценки 6DoF (шести степеней свободы) позы космического аппарата Tango по одному изображению. Архитектура сочетает бакбоун ResNet-50 и полносвязную голову (MLP head), обученные исключительно на синтетических данных бенчмарка SPEED+. Набор весов включает 17 экспериментальных чекпоинтов с разными сидами и вариантами аугментации для изучения переноса с симулятора на реальные домены (Lightbox и Sunlamp). Инструмент ориентирован на исследователей, изучающих робастность моделей и проблему несоответствия симуляторов (simulator misspecification).
Ключевые особенности
- Прямая регрессия позы 6DoF на основе ResNet-50 и MLP-головы.
- Обучение исключительно на синтетическом датасете SPEED+ (28 000 изображений).
- 17 экспериментальных чекпоинтов с различными сидами и настройками аугментации.
- Воспроизводимость результатов для анализа симуляторно-реального разрыва (sim-to-real).
Что можно сделать
- Запустить скрипт воспроизведения таблицы результатов для проверки исследования.
- Протестировать инференс модели на изображениях космического аппарата Tango.
- Сравнить точность моделей с замороженным бэкбоуном и обучаемым слоем 4.
Пример
import torch
from huggingface_hub import hf_hub_download
from PIL import Image
from speedplus_pose.model import SpacecraftPoseEstimator
from speedplus_pose.normalisation import TranslationNormaliser
from speedplus_pose.transforms import build_eval_transform
repo = "lkid08/spacecraft-pose-estimation"
hf_hub_download(repo, "config.json")
path = hf_hub_download(repo, "unfrozen_aug_seed42.pt")
checkpoint = torch.load(path, weights_only=False, map_location="cpu")
model = SpacecraftPoseEstimator()
model.load_state_dict(checkpoint["model_state_dict"])
model.eval()
normaliser = TranslationNormaliser(checkpoint["train_means"], checkpoint["train_stds"])
image = Image.open("img000001.jpg")
tensor = build_eval_transform()(image)
with torch.no_grad():
output = model(tensor.unsqueeze(0))
translation = normaliser.remove(output[:, :3])
quaternion = output[:, 3:]
quaternion = quaternion / quaternion.norm(dim=1, keepdim=True)
print(translation, quaternion)Подробнее
Бенчмарки (ошибка ориентации E_R): бакбоун layer 4 с аугментацией показывает на Lightbox ошибку 0.987 рад.Требования к железу: обучение проводилось в Google Colab и на Apple M5.
Ограничения: модель не предназначена для реального использования в космических полетах, точность на реальных данных падает, а уверенность модели остается высокой при ошибочных предсказаниях.
Детали обучения: входной размер 320x512 в оттенках серого, целевой объект — космический аппарат Tango.










Комментарии