niwniwniw/smolvla_ours

Полный файнтюн lerobot/smolvla_base на демонстрациях LIBERO-Spatial, -Object, -Goal и -10. Около 0,45 млрд параметров, бэкбон SmolVLM2-500M с 16 слоями VLM. Модель задумана как воспроизводимая база для экспериментов с flow-matching VLA.

📝 Ключевые особенности

• 📝 Обучение: 25 000 шагов, все параметры, vision encoder не заморожен, ��ез LoRA.
• 🗣 Данные: 40 задач, 1 693 эпизода, 273 465 кадров; две камеры 256×256, 8-d state, 7-d action.
• 😎 Action chunk 50 шагов, flow matching с 10 шагами интеграции.
• 👍 Оценка на LIBERO-Spatial: 161/200 = 80,5%.
• 🤝 Лицензия Apache 2.0, как у базовой модели.

📝 Пример

from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy

policy = SmolVLAPolicy.from_pretrained("niwniwniw/smolvla_ours")

Подробнее

На Unseen-10 zero-shot: 2/200 = 1,0% — почти нулевой результат ожидаем, эти задачи не были в обучении.
Другие наборы LIBERO этим чекпоинтом не оценивались.
Обучение: 4 чипа Cloud TPU v5e, около 2 с на шаг; эффективный batch 32, AdamW, lr 1e-4.
Входы: observation.images.image, observation.images.image2, observation.state и текстовая инструкция; выход action 7-d.