smolvla-beverage-main
нейросеть для приготовления напитков роботом
2 min readupdated
smolvla-beverage-main — это обученная политика действий (модель управления роботом) на базе архитектуры SmolVLA объёмом 0.45B параметров для двурукой роботизированной установки SO-101. В основе лежит замороженная VLM-модель SmolVLM2-500M-Video-Instruct, дополненная обученным модулем генерации действий. Модель принимает видеопоток с трёх камер, текущее состояние суставов и текстовую инструкцию на английском, а на выходе выдаёт траекторию движений для обеих рук робота. Репозиторий предназначен только для инференса (запуска) и пригодится разработчикам робототехники, работающим с фреймворком LeRobot.
Ключевые особенности
- Мультимодальный вход: анализирует RGB-изображения (480×640) одновременно с трёх камер (на левом запястье, правом запястье и верхней обзорной) и 12 значений положения суставов и захватов.
- Пакетное планирование движений: предсказывает сразу 50 шагов вперёд (чанк действий) для 12 степеней свободы при частоте 30 FPS.
- Готовность к запуску: в экспорт уже включены веса VLM и файлы препроцессинга для нормализации состояний и действий — докачивать базовую модель отдельно не нужно.
- Обучение на специализированном датасете: модель тренировалась на 196 эпизодах (177 453 кадра) с реальными манипуляциями по смешиванию ингредиентов.
Что можно сделать
- Автоматизировать приготовление напитков на SO-101: запускать по текстовым командам насыпание кофе из красного контейнера, матча-порошка из зелёного, наливание воды в чашку и размешивание мадлером.
- Использовать как референс в LeRobot 0.6.1: изучить пайплайн подключения многокамерного инференса SmolVLA с готовыми препроцессорами и постпроцессорами.
- Дообучить под похожие задачи манипуляции: взять веса за основу для переноса навыков работы с сыпучими продуктами и жидкостями на аналогичной двурукой платформе.
Пример
from lerobot.configs import PreTrainedConfig
from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
from lerobot.policies import make_pre_post_processors
repo_id = "2chan/smolvla-beverage-main"
config = PreTrainedConfig.from_pretrained(repo_id)
policy = SmolVLAPolicy.from_pretrained(repo_id, config=config).eval()
preprocessor, postprocessor = make_pre_post_processors(policy_cfg=policy.config, pretrained_path=repo_id)Подробнее
Валидация: лучший чекпоинт выбран на 30 000 шагах по flow-matching validation loss 0.0563 на отложенной выборке из 51 эпизода (47 664 кадра).Требования и формат: совместима с LeRobot 0.6.1; входные RGB-тензоры должны быть в формате float32 в диапазоне [0, 1].
Ограничения: репозиторий содержит только веса политики и процессоры; в нём нет вспомогательной головы прогресса (progress head), состояний оптимизатора и датасета.










Comments