LIME

LIME — модель для робототехники от BoboSun, представленная на CoRL 2026. По одному RGB-изображению и свободной цели вроде «Find my bike» она предсказывает относительную целевую позу камеры и описание того, что должен показать новый вид. В основе — дообученный Qwen3-VL-4B-Instruct и flow-matching pose head примерно на 20M параметров.

👀 Ключевые особенности

• 👉 На входе — RGB-кадр и цель, сформулированная свободным текстом.
• 👀 На выходе — относительная целевая поза камеры и observation gain: что откроет новый ракурс.
• 💪 Связка Qwen3-VL-4B-Instruct и лёгкого flow-matching pose head (~20M параметров).
• 🔥 Веса lime_v1 распространяются по CC BY-NC 4.0 — только некоммерческое использование.

👉 Пример

from lime_camera import LIME

model = LIME.from_pretrained("weights/lime_v1")
prediction = model.predict("room.jpg", "Find my bike.", n_samples=5, seed=0)
print(prediction.observation_gain)
print(prediction.T_mean)

Подробнее

CoRL 2026, веса lime_v1.
Архитектура: Qwen3-VL-4B-Instruct + flow-matching pose head ~20M.
Позы заданы в системе стартовой камеры, в метрах, оси OpenCV.
Для запуска нужен код из GitHub-репозитория; VRAM не указан. Лицензия CC BY-NC 4.0 — только некоммерческое использование.