IdentiDeform-prior
определение физических свойств материала по видео
2 min readupdated
Модель анализирует короткое видео с трёх ракурсов, на котором объект сжимают, роняют, гнут, растягивают или бьют, и предсказывает тип его материала (упругий jelly, упруго-пластический metal или plasticine), а также физические параметры и оценку неопределённости. В основе лежит замороженный видеоэнкодер V-JEPA 2 ViT-L от Meta (facebook/vjepa2-vitl-fpc64-256), поверх которого работает ансамбль из 9 лёгких голов по 2.85M параметров каждая. В отличие от классического подбора параметров через многократный запуск физического симулятора, модель даёт точную начальную оценку за один проход без итераций. Пригодится исследователям в области робототехники, компьютерного зрения и создания цифровых двойников.
Ключевые особенности
- Ансамбль из 9 моделей-голов (3 варианта архитектуры × 3 сида) поверх V-JEPA 2 ViT-L, обучавшийся исключительно на синтетических данных симулятора MPM (Material Point Method — метод материальной точки).
- Надёжно восстанавливает из видео два физически различимых по движению параметра: удельную жёсткость
E/ρи удельный предел текучестиσ_y/ρ(плотностьρи коэффициент Пуассонаνтакже предсказываются, но остаются близки к среднему по выборке). - Возвращает калиброванную общую неопределённость
σ_total(учитывает и разброс между головами, и предсказанную дисперсию), а также распределение голосов ансамбля по классам. - Выложена под свободной лицензией MIT вместе со скриптом инференса, весами голов (по 11.4 MB каждая) и статистиками нормализации.
Что можно сделать
- Задавать начальные приближения и ширину поиска при оптимизации параметров в симуляторах MPM (simulation-in-the-loop refinement) и построении цифровых двойников.
- Использовать в задачах роботизированного захвата и манипуляции деформируемыми предметами для предварительной оценки их жёсткости по видео.
- Применять как базовый бейзлайн в исследованиях по выводу физических свойств объектов из визуальных наблюдений.
Пример
from huggingface_hub import snapshot_download
import sys; root = snapshot_download("HandsomeHusky/IdentiDeform-prior"); sys.path.insert(0, root)
from inference import IdentiDeformPrior
prior = IdentiDeformPrior(root, device="cuda")
out = prior.predict(rgb, times) # rgb: [3, T, 3, H, W] uint8, times: T секунд
print(out["class"], out["parameters"]["E_over_rho"])
Подробнее
Метрики на тесте: точность классификации материала — 0.743 (на валидации 0.700), внутриклассовая корреляция Пирсона r — 0.629 для E/ρ и 0.793 для σ_y/ρ.Без единого запуска симулятора (k=0) ошибка составляет 0.344 на валидации и 0.496 на тесте — это лучше, чем слепой подбор по средним значениям классов после 24 симуляций (0.482 / 0.515).
Требования и точность: вход — 3 синхронизированных ракурса по 64 кадра (224×224 px); V-JEPA 2 запускается в bf16 на GPU (на CPU или в fp32 среднее сдвигается до ~0.05 z).
Ограничения: обучение проходило только на рендерах одного MPM-движка (1 955 симуляций, 87 объектов), поэтому для переноса в другой домен требуется донастройка или калибровка.










Comments