GALA-0.7B

GALA-0.7B — геометрически-осведомлённая мультимодальная языковая модель для управляемой расстановки объектов в 3D-интерьере. Она получает облака точек ��ола, существующих объектов и целевого объекта вместе с текстовой инструкцией и авторегрессионно предсказывает 6-DoF позу [x, y, z, roll, pitch, yaw]. В основе — замороженный энкодер Utonia и LLM Qwen3-0.6B; общий размер около 0.73B параметров.

➕ Ключевые особенности

• ▶ Явная геометрическая опора: вместо только OBB модель использует per-object 3D point clouds.
• 🔤 Поддержка тонких пространственных ограничений: containment (within) и физическая опора (on, under).
• 1⃣ Архитектура: Utonia (PTv3 Mode3, 9 каналов xyz+rgb+normal, сетка 0.02 м, выход 576-dim, frozen), 2-layer MLP-проектор и Qwen3-0.6B.
• 2⃣ Спецтокены для облаков точек: <|point_start|>, <|point_end|>, <|point_pad|>.
• 3⃣ Обучение в два этапа: alignment на 500k задачах понимания облаков точек, затем fine-tuning на 331k шагах расстановки.

🔜 Пример

На вход подаются облака точек пола, уже стоящих объектов и нового объекта плюс инструкция вроде «поставить объект внутрь открытого стеллажа». На выходе — поза целевого объекта в формате [x, y, z, roll, pitch, yaw], а не только 2D-рамка или OBB.