Mesh4D_16
16-кадровые чекпоинты для создания 4D-мешей
2 min readupdated
Репозиторий содержит обновлённые веса для системы Mesh4D, которая превращает последовательность из 16 кадров в анимированную 3D-модель (4D-меш). В набор входят два ключевых компонента: Deformation VAE (вариационный автоэнкодер, отвечающий за деформацию геометрии и костей) и Motion denoiser (диффузионный шумоподавитель движения). В отличие от разрозненных архивов, здесь выложены цельные файлы .ckpt, не требующие ручной склейки, с сохранением исходных тензоров и метаданных PyTorch Lightning. Инструмент пригодится 3D-художникам, разработчикам игр и исследователям компьютерного зрения, работающим над реконструкцией динамических 3D-объектов из видео.
Ключевые особенности
- Работа с последовательностями из 16 кадров и формой латентного пространства движения
[16, 256, 64]. - Цельные чекпоинты без разбивки на части:
vae_bone_r2_16_00001500.ckpt(~3,33 ГБ, 1 500 шагов) иdiffusion_r6_new_3000.ckpt(~24,38 ГБ, 3 000 шагов). - Готовый конфиг
infer_16.yamlв комплекте и полная совместимость со скриптом инференсаhy3dshape/infer_16.pyиз официального репозитория Mesh4D. - Приложен файл контрольных сумм
SHA256SUMSдля проверки целостности скачанных весов.
Что можно сделать
- Восстанавливать анимированные 3D-модели персонажей или объектов из серии из 16 сегментированных RGBA-кадров.
- Встроить веса в пайплайн Mesh4D совместно с моделями формы и текстур Hunyuan3D для генерации динамических сцен.
- Проводить сравнительные тесты и бенчмарки реконструкции движения на собственных наборах покадровых изображений.
Пример
hf download zerenjiang/Mesh4D_16 \
vae_bone_r2_16_00001500.ckpt diffusion_r6_new_3000.ckpt \
--local-dir ckpt/16frames
python hy3dshape/infer_16.py --input-dir /path/to/16_rgba_frames
Подробнее
Общий вес двух чекпоинтов составляет около 27,7 ГБ (3,33 ГБ для VAE и 24,38 ГБ для диффузионной модели).Для запуска требуются CUDA-зависимости, код из репозитория Mesh4D, а также отдельно устанавливаемые модели формы/текстур Hunyuan3D и энкодеры изображений.
На вход подаются сегментированные RGBA-кадры одинакового разрешения.
Файлы представляют собой полные Lightning-чекпоинты с pickled-метаданными обучения, поэтому использовать их следует только через штатный загрузчик из доверенных источников.










Comments