connectailab-rl-highj-choose-v1-link01

Это embodied cognitive decision-making LLM на базе Qwen/Qwen3.5-0.8B, дообученная через LoRA (PEFT) на траекториях симулятора автономного робота LINK-01. Модель работает как когнитивная политика для задачи choose_object: читает структурированное текстовое описание 26-мерных наблюдений и выбирает один из четырёх объектов.

🤓 Ключевые особенности

• 🤓 База Qwen/Qwen3.5-0.8B + LoRA/PEFT; 4 дискретных действия: 머그컵, 사과, 랜턴, 화분.
• 📝 Вход — 26-мерное наблюдение: one-hot cue [4], состояния 4 объектов [16], история решений [4], скорости [2]; каждые 0.5 с оно превращается в структурированный текст.
• 🤔 Дистилляция PPO-учителя brain.json: сначала SFT, затем RL/DPO по выбору с лучшим накопленным вознаграждением.
• 👍 100.0% согласия с учителем на 173 тестовых примерах; 20/20 успешных прогонов на том же курсе.
• 😎 0 столкновений и 0 неверных выборов; среднее время успешного прогона — 12.95 с.

📝 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

repo_id = "minjunglee27/connectailab-rl-highj-choose-v1-link01"
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B")
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B"),
    repo_id
)

Подробнее

Тест: 100.0% (173/173) совпадений с PPO-учителем; 20/20 успешных прогонов, 0 коллизий, 0 ошибочных выборов, в среднем 12.95 с.
Base Qwen до обучения: 95.4%; SFT и RL/DPO — по 100.0% на тесте.
Политика принимает решения 2 раза в секунду; пространство действий — 4 дискретных выбора.
Это исследовательская модель для симулятора: перед использованием на реальном роботе нужна повторная проверка.