VeloMocap FlowHMR ONNX
конвертация модели захвата движения
1 мин чтенияобновлено
Репозиторий содержит конвертацию одного шага сопоставления потоков (flow-matching) модели FlowHMR в граф ONNX вместе с упакованными весами. Это позволяет инструменту VeloMocap генерировать человеческие движения по видео без необходимости использовать PyTorch. Модель основана на оригинальной FlowHMR (arXiv:2610.03691), веса экспортированы в fp32 без повторного обучения. Подойдет разработчикам и исследователям, работающим с захватом движения и интеграцией ONNX Runtime в Rust-пайплайны.
Ключевые особенности
- Весы и граф ONNX размером около 1.7 ГБ для интеграции в VeloMocap.
- Таблица RoPE и маски внимания выступают в роли входных данных графа, оставляя цикл Euler и декодирование в Rust.
- Проверено на точность: максимальная абсолютная разница по сравнению с эталоном PyTorch составляет 9.7e-3.
- Некоммерческая лицензия, основанная на upstream-лицензии FlowHMR Model Weights.
Что можно сделать
- Установить файлы в директорию models/flowhmr/ инсталляции VeloMocap для работы без PyTorch.
- Запустить модель с помощью ONNX Runtime в составе совместимых пайплайнов движения.
Пример
Поместите файлы flowhmr_mmdit.onnx и flowhmr_mmdit.weights.bin в папку models/flowhmr/ вашего репозитория VeloMocap.
Подробнее
Файлы: flowhmr_mmdit.onnx (3.9 МБ), flowhmr_mmดิน.weights.bin (1.7 ГБ).Погрешность: максимальная абсолютная разница к PyTorch 9.7e-3, средняя 2.1e-4.
Лицензия: Non-commercial (FlowHMR Model Weights License).










Комментарии