Qwen3.5-4B-SFT400-LIBERO
мультимодальный планировщик для робототехники
2 мин чтенияобновлено
Это полноразмерная мультимодальная модель весом 4.66B параметров, дообученная для планирования действий роботов в симуляторе LIBERO. Она создана автором Rodriguez10 на основе постобученной Qwen/Qwen3.5-4B методом SFT (дообучение с учителем на готовых примерах) на успешных траекториях более крупной модели-агента Qwen3.6-27B. Сама модель выступает высокоуровневым планировщиком: она анализирует изображения и историю взаимодействия, вызывая внешние инструменты, а не управляет моторами напрямую. Пригодится исследователям и разработчикам мультимодальных агентов для робототехники.
Ключевые особенности
- Полноценные веса для инференса (не LoRA-адаптер), в комплект входят токенизатор, конфигурация процессора и шаблон чата.
- Обучена на 25 600 шагах проверенных траекторий из бенчмарка LIBERO130 с сохранением изображений, вызовов инструментов и обращений к памяти.
- Работает в связке с агентным циклом harness2model VERL, моделями Pi0.5, SAM3, симулятором и внешней памятью.
- Является промежуточным чекпоинтом (обновление 400), а не финальной версией обучения.
Что можно сделать
- Интегрировать в агентный цикл harness2model VERL в паре с Pi0.5 и SAM3 для решения задач манипуляции в симуляторе LIBERO.
- Использовать как компактный 4.66B-планировщик, дистиллированный из траекторий Qwen3.6-27B, в экспериментах с мультимодальными робототехническими агентами.
Пример
Модель загружается через библиотеку transformers с поддержкой архитектуры Qwen3_5ForConditionalGeneration. На вход подаются визуальные наблюдения из симулятора, история диалога и доступные инструменты (например, сегментация через SAM3 и низкоуровневое управление через Pi0.5), а на выходе модель формирует следующий шаг планирования или вызов функции в рамках эпизода LIBERO.
Подробнее
Бенчмарк LIBERO-Pro (80 задач × 10 сидов): 459 из 800 успешных выполнений (57.375%) при использовании памяти GPT-5.5 Pro.В архиве находятся только веса для инференса (без состояний оптимизатора и планировщика), а внешние модели памяти и исполнения не включены.
Для воспроизведения метрик на LIBERO-Pro нельзя заменять оценочную память на тренировочную память LIBERO.










Комментарии