smolvla-libero-test-time-verifier
верификатор действий для роботов на базе SmolVLA
2 min readupdated
Лёгкая модель-верификатор на 5,03 млн параметров, которая помогает робототехнической политике SmolVLA (HuggingFaceVLA/smolvla_libero) выбирать более удачные действия прямо во время работы (test-time). На каждом шаге принятия решения базовая нейросеть генерирует несколько вариантов последовательности действий (action chunks), а верификатор оценивает вероятность успешного выполнения задачи для каждого кандидата и выбирает лучший. Веса самой политики SmolVLA при этом остаются замороженными и не дообучаются. Одна модель закрывает сразу все 40 задач симулятора LIBERO — текущая цель передаётся ей через текстовое описание.
Ключевые особенности
- Компактная архитектура: всего 5 028 969 параметров, состоит из модуля проекции текста, Dynamics MLP (предсказывает изменение состояния робота на 10 шагов вперёд) и классификатора с механизмом self-attention.
- Мультимодальные входы: анализирует состояние робота (26 параметров позиции и скорости суставов), визуальные признаки с двух камер через DINOv2 ViT-S/14, текстовую инструкцию от SmolVLA и первые 10 шагов действия-кандидата.
- Единая модель на 40 задач: работает во всех четырёх наборах бенчмарка LIBERO (
libero_spatial,libero_object,libero_goalиlibero_10). - Открытая лицензия: распространяется под Apache License 2.0 со всеми скриптами извлечения признаков и загрузки.
Что можно сделать
- Повысить процент успешного выполнения манипуляций в симуляторе LIBERO при работе с замороженной моделью
HuggingFaceVLA/smolvla_liberoи библиотекой LeRobot. - Использовать архитектуру
PaperGate(связка Dynamics MLP и state-attention) в качестве референса для создания собственных легких верификаторов под другие VLA-модели.
Пример
from load import load_verifier, score_candidates
model = load_verifier(device="cuda")
# robot (26,), image (768,), language (960,), candidates (K, 10, 7)
scores = score_candidates(model, robot, image, language, candidates)
chosen = candidates[scores.argmax()]
Подробнее
Бенчмарк LIBERO (1200 эпизодов, K = 5 кандидатов): доля успешных выполнений выросла с 67.8% (базовая политика) до 80.2% (+12.4 п.п., p < 0.001).По наборам задач: libero_spatial 63.3% → 75.7%, libero_object 91.0% → 94.7%, libero_goal 71.7% → 87.7%, libero_10 45.0% → 62.7%.
Обучение: 6000 прогонов SmolVLA, 20 000 шагов, validation AUC 0.941.
Ограничения: привязана к конкретному чекпоинту SmolVLA и экстракторам признаков DINOv2; поведение на новых задачах вне 40 задач LIBERO не проверялось.










Comments