Forma3D Tiny 3
крошечная image-to-3D модель на 306 тыс. параметров
1 min readupdated
Продолжение Lucasgitguy-co/forma3d-tiny-2 от автора Lucasgitguy-co: та же архитектура на 306 321 параметр, сетка 16³, ширина 64 и до 4096 Gaussian slots. Модель принимает изображение и выдаёт Gaussian PLY; обучение шло 6000 шагов на 512 объектах ABO.
Ключевые особенности
- Всего 306 321 параметр — очень компактная архитектура для image-to-3D.
- До 4096 Gaussian slots на сетке 16³; результат — Gaussian PLY, а не текстурированный GLB.
- Обучение на 512 объектах ABO и 2048 ортографических proxy-изображениях на чёрном фоне.
- Нет conditioning по текстовому промпту — только изображение.
- Ожидаемый вход: центрированный объект на чёрном фоне.
- Рецепт Mac-only, запуск возможен на устройстве
mps.
Пример
pip install .
image3d generate --checkpoint model.pt --image centered-object-on-black.png --out object.ply --device mps
image3d preview --ply object.ply --out preview.png
Подробнее
Mean test loss: 0.690551 → 0.544487; view occupancy IoU при пороге 0.5: 0.286866 → 0.339860.Вывод — Gaussian PLY, не текстурированный GLB; текстовых промптов нет.
Нужны центрированные объекты на чёрном фоне; рецепт Mac-only с устройством mps.
Метрики не подтверждают фотореализм, качество меша или реконструкцию по естественным фото.










Comments