SmolVLA LangPush (run 10b)
робот различает цвета по текстовой команде
2 min readupdated
Это дообученная VLA-модель (Vision-Language-Action — нейросеть, связывающая зрение, текст и действия робота) на 450 млн параметров для управления манипулятором Seeed reBot Arm B601-RS в симуляторе MuJoCo. По команде «Push the red cube into the green target area» или «Push the blue cube into the green target area» и картинке с камеры на запястье модель толкает нужный кубик в зелёную зону. Чекпоинт построен на базе lerobot/smolvla_base в рамках проекта Embodied AI и, в отличие от предыдущих версий авторов, действительно ориентируется на название цвета в инструкции, а не угадывает цель наугад.
Ключевые особенности
- Успешно выполняет задачу в 165 случаях из 192 (80–90%), тогда как «слепая» к цвету политика даёт около 50%.
- Разморозка верхних 8 слоёв VLM вместе с экспертом действий позволила модели связать слова «red» и «blue» с изображением.
- Режим относительных движений (delta mode): модель предсказывает смещение наконечника
[dx, dy, dz, rx, ry, rz]в его собственной системе координат, а не абсолютную позу. - Работает с одной камерой (
observation.images.camera1) при двух пустых слотах, выдавая пакеты по 50 действий на 30 fps.
Что можно сделать
- Использовать как готовый пример дообучения
SmolVLAв библиотеке LeRobot, если ваша модель игнорирует текстовые инструкции. - Протестировать политику в симуляции MuJoCo на задачах толкания объектов по языковым командам.
- Взять за основу для переноса управления манипулятором Seeed reBot Arm B601-RS с симуляции на реальную камеру телефона.
Пример
from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained("irodkin/smolvla-langpush-run10b")
# Также загрузите пре- и постпроцессоры через make_pre_post_processors(policy.config, pretrained_path=...)Подробнее
Базовая модель: lerobot/smolvla_base (0.45B параметров), обучение 30 000 шагов с batch size 64 на 10 000 скриптовых демо в float32.Точность по цветам: 90/96 для красного кубика и 75/96 для синего (в 21 попытке с синим толкала красный).
Ограничения: проверено только в симуляторе MuJoCo (без тестов на реальном роботе), требует управления в delta-режиме.










Comments