connectailab-rl-highj-avoid-v1-link01

connectailab-rl-highj-avoid-v1-link01 — embodied-модель принятия решений на базе Qwen/Qwen3.5-0.8B, дообученная через LoRA (PEFT). Она работает как автономная политика для задачи avoid_obstacles в симуляции робота LINK-01: получает 21-мерные сенсорные наблюдения, преобразованные в текст, и выбирает одно из 5 дискретных действий, чтобы объехать 6 препятствий и добраться до растения.

📝 Ключевые особенности

• 🤓 Дистилляция из PPO-учителя: модель учится на решениях высокоэффективного «мозга» brain.json с официальной успешностью 90,0%.
• 😐 Вход — 21 признак: вектор цели, 11 направлений LiDAR, линейная и угловая скорости, а также история последних 5 действий.
• 👌 Выход — 5 действий: вперед, влево, вправо, поворот на месте влево и поворот на месте вправо.
• 🤔 Частота решений: наблюдения обновляются каждые 0,5 секунды, политика работает на 2 Гц.
• 📝 Выбрана SFT-политика: по карточке она показала 65% успешных прогонов против 40% у варианта после RL/DPO.
• 😊 Готовый пайплайн: transformers + peft, отдельный модуль connect_tycoon.link01 для преобразования наблюдений в текстовый промпт.

😎 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

repo_id = "minjunglee27/connectailab-rl-highj-avoid-v1-link01"
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B")
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B"),
    repo_id
)

Подробнее

PPO-учитель: официальный тест 90,0% (18/20), обучение — 40 960 шагов.
SFT-политика: 65% успешных прогонов, 20% столкновений, среднее время 28,2 с.
Базовая Qwen без дообучения: 0% успеха.
Это исследовательская модель для симулятора; перед реальным роботом нужна повторная проверка.