Forma3D Tiny 3

Продолжение Lucasgitguy-co/forma3d-tiny-2 от автора Lucasgitguy-co: та же архитектура на 306 321 параметр, сетка 16³, ширина 64 и до 4096 Gaussian slots. Модель принимает изображение и выдаёт Gaussian PLY; обучение шло 6000 шагов на 512 объектах ABO.

⚙ Ключевые особенности

• ⚙ Всего 306 321 параметр — очень компактная архитектура для image-to-3D.
• 🧊 До 4096 Gaussian slots на сетке 16³; результат — Gaussian PLY, а не текстурированный GLB.
• 📀 Обучение на 512 объектах ABO и 2048 ортографических proxy-изображениях на чёрном фоне.
• 🛑 Нет conditioning по текстовому промпту — только изображение.
• 🎯 Ожидаемый вход: центрированный объект на чёрном фоне.
• 🔬 Рецепт Mac-only, запуск возможен на устройстве mps.

💡 Пример

pip install .
image3d generate --checkpoint model.pt --image centered-object-on-black.png --out object.ply --device mps
image3d preview --ply object.ply --out preview.png

Подробнее

Mean test loss: 0.690551 → 0.544487; view occupancy IoU при пороге 0.5: 0.286866 → 0.339860.
Вывод — Gaussian PLY, не текстурированный GLB; текстовых промптов нет.
Нужны центрированные объекты на чёрном фоне; рецепт Mac-only с устройством mps.
Метрики не подтверждают фотореализм, качество меша или реконструкцию по естественным фото.