Reachy Mini Motion Planner 4B Safety
безопасное планирование движений робота
2 мин чтенияобновлено
Текстовая языковая модель на 4,21 млрд параметров для генерации безопасных сценариев движений (жестов) робота Reachy Mini. Модель построена на базе binhpham/reachy-mini-motion-planner-4b с архитектурой Qwen3_5ForCausalLM (визуальные модули и MTP отключены) и дообучена автором diwank с помощью SFT и GRPO (метод обучения с подкреплением без отдельной модели-критика). На вход она получает текстовую инструкцию и текущую позу робота в формате JSON, а на выходе генерирует JSON с идеей и «рецептом» траектории, учитывающим ограничения по зазорам, углам, скоростям и длительности. Подойдёт исследователям в области робототехники и LLM-планирования как экспериментальный бейзлайн для проверки безопасности траекторий до запуска на реальном железе.
Ключевые особенности
- Слияние весов в BF16: готовый standalone-чекпоинт без необходимости отдельно подключать LoRA-адаптер (хотя вариант с адаптером тоже доступен).
- Рост безопасности сырых траекторий: доля изначально безопасных и полезных движений до программной коррекции выросла с 5% у базовой модели до 50,62% у смердженной версии.
- Контроль физических ограничений: функция награды при RL-обучении штрафует за нарушение зазоров, пределов позы и скорости, ошибки обратной кинематики (IK) и превышение длительности (более 8 секунд).
- Только текст: модель генерирует высокоуровневый JSON-рецепт жеста, который затем передаётся в отдельный генератор траекторий, и не выдаёт прямые команды моторам.
Что можно сделать
- Тестировать LLM-планировщики в симуляции: использовать модель вместе с генератором
reachy-motion-generatorдля проверки того, как RL-дообучение снижает число потенциально опасных траекторий робота. - Воспроизводить бенчмарк безопасности: сравнить работу смердженной модели и LoRA-адаптера на 80 отложенных задачах из 10 семейств жестов (кивки, наклоны головы, взгляд вверх и др.).
- Исследовать компромисс между безопасностью и точностью: изучить, как штрафы за нарушения снижают итоговую успешность выполнения самого жеста (с 84,38% у базы до 68,12% после GRPO).
Пример
Модель принимает системный промпт из prompt_contract.json и пользовательский запрос с добавлением
current_pose= и JSON текущей позы (применяется чат-шаблон с enable_thinking=False, жадная генерация до 384 токенов). На выходе возвращается JSON-объект с полями idea и recipe, где углы заданы в градусах относительно начальной позы, а смещения — в метрах. Для быстрого запуска в репозитории прилагается скрипт example.py.
Подробнее
Метрики на 80 тестовых задачах (Merged BF16 vs Base): полезные и безопасные траектории до коррекции — 50,62% против 5,00%; безопасность сырого пути — 80,00% против 5,00%; выполнение целевого жеста — 68,12% против 84,38%.Обучение: 10 шагов SFT на 39 рецептах, затем 100 шагов GRPO на 320 задачах (8× A100 40 ГБ, BF16, LoRA rank-16, 3200 сэмплов).
Ограничения: это исследовательский пилот, проверенный только численно в симуляции без физического робота; в продакшене по-прежнему обязательны защитные ограничители контроллера.










Комментарии