connectailab-rl-highj-goto-v1-link01

Это LoRA-адаптер на базе Qwen/Qwen3.5-0.8B для принятия решений автономным роботом LINK-01 в симуляции. Модель получает 21-мерные сенсорные наблюдения, переведённые в текст, и выбирает действие движения на задаче goto_target; обучение шло через SFT по решениям PPO-учителя.

🔥 Ключевые особенности

• 🔮 База — Qwen/Qwen3.5-0.8B, дообучение через LoRA/PEFT.
• 📚 На входе текстовое описание состояния: вектор цели, 11 направлений LiDAR, линейная и угловая скорости, история действий.
• ⏰ Решение принимается каждые 0.5 с (2 Hz): вперёд, поворот налево/направо, разворот на месте и другие дискретные действия.
• 🎯 PPO-учитель brain.json из CONNECT AI WORLD Robot Lab передаёт модели навык обхода препятствий и движения к цели.
• ✅ SFT-адаптер выбран для деплоя: 55% успешных проходов на 20 прогонах против 0% у базовой Qwen.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

repo_id = "minjunglee27/connectailab-rl-highj-goto-v1-link01"
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B")
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B"),
    repo_id
)

Подробнее

Успех на 20 прогонах: 55% у SFT и 0% у Base Qwen; согласие с PPO-учителем — 68.3%, у RL-варианта — 74.2%, но успех 30%.
Среднее время успешного прохода SFT — 15.3 с; столкновения были в 80% прогонов.
Данные: 586 примеров для обучения, 167 для валидации, 240 для теста.
Требования к VRAM и железу в карточке не указаны.