Beverage SmolVLA

Это официальная SmolVLA-политика LeRobot 0.6.1, обученная на три задачи с напитками. База — замороженная HuggingFaceTB/SmolVLM2-500M-Video-Instruct, размер около 0,45 млрд параметров; action expert и проекции state/action обучены без весов lerobot/smolvla_base.

🎯 Ключевые особенности

• 🕹 Три двуручные задачи: достать мадлер и опустить в чашку; поднять и вернуть; насыпать порошок зелёного чая из контейнера с зелёной крышкой.
• 🎯 Состояние и действие — 12 измерений: левая рука, затем правая.
• 📸 Три камеры: left_wrist, right_wrist и top; история наблюдений — 1 кадр.
• ⚙ Action chunk и очередь действий — 50 шагов; нормализация MEAN_STD по статистике train-сплита.
• 📌 Финальный чекпоинт 15 000 шагов; validation loss 0.0837484300 (flow-matching MSE).

💻 Пример

from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
from lerobot.policies import make_pre_post_processors

repo_id = "2chan/beverage-smolvla-20261110-15k"
policy = SmolVLAPolicy.from_pretrained(repo_id).eval()
preprocessor, postprocessor = make_pre_post_processors(
    policy.config, pretrained_path=repo_id
)

Подробнее

Валидационный loss: 0.0837484300 (flow-matching MSE).
Состояние/действие: 12 измерений; action chunk и очередь — 50 шагов; история — 1 кадр.
Для деплоя нужны совместимый робот, те же camera keys, калибровка и инструкция задачи.
Offline loss не подтверждает успех на физическом роботе.