Bimanual Pose VAE
вариационный автоэнкодер для 3D-поз обеих рук
2 min readupdated
Модель joint_mix40 от автора WhynotGPT кодирует позу двух рук — 30 локальных вращений пальцев, а также относительные ориентацию и позицию правого запястья относительно левого — в компактное 40-мерное латентное пространство. В основе лежит MLP (многослойный перцептрон) шириной 384 со 189-мерным входом, использующим 6D-представление вращений. Модель работает покадрово и исключает общую глобальную позицию в пространстве, чтобы фокусироваться исключительно на конфигурации самих кистей. Она пригодится исследователям и разработчикам в сфере 3D-трекинга рук, компьютерного зрения и генерации синтетических данных для рендеринга.
Ключевые особенности
- Компактное 40-мерное пространство: преобразует 30 локальных вращений пальцев и взаимное положение запястий в 40-мерный вектор и восстанавливает их обратно.
- Дифференцируемый априор (prior): замороженную модель можно использовать в качестве функции потерь
vae.energy()с сохранением градиентов по входам. - Генерация аугментаций: встроенный сэмплер
augment.pyсоздает по 24 синтетические позы на каждый сложный запрос, интерполируя соседей в латентном пространстве. - Полный пайплайн: в репозитории есть не только веса (
model.safetensorsиjoint_mix40.pt), но и скрипты обучения и проверки контрольных сумм.
Что можно сделать
- Регуляризация моделей трекинга рук: использовать
vae.energy()как штраф за нереалистичные двуручные позы при обучении или оптимизации 3D-оценщиков позы. - Расширение датасетов для рендеринга: сгенерировать новые правдоподобные позы в формате MANO из сложных кадров обучающей выборки для последующей отрисовки в 3D-сцене.
- Обучение на собственных движениях: дообучить или переобучить архитектуру с нуля на своих кэшах движений при наличии файлов
MANO_LEFT.pklиMANO_RIGHT.pkl.
Пример
import torch
from load_model import load_model
from bimanual_vae import pack
vae, metadata = load_model(device="cpu")
with torch.no_grad():
rot, pos = pack(local_rot, root_rot, wrist)
mu, logvar = vae.encode(rot, pos)
reconstructed_rot, reconstructed_pos = vae.decode(mu)
Подробнее
Обучена 60 эпох (выбран чекпоинт с 50-й эпохи) с оптимизатором AdamW (lr 0.001) и размером батча 192.Данные обучения: парные кадры из датасетов ARCTIC (32 320 train), H2O (12 686 train) и GRAB (104 825 train).
Ограничения: модель не работает с RGB-изображениями, параметрами камеры, формой кисти (shape) и временной динамикой.
Выходные позы при генерации не гарантируют отсутствие физических коллизий и требуют проверки в пайплайне рендеринга.










Comments