LINK-01 decision LoRA
мозг робота для выбора предмета
2 min read
Это LoRA-адаптер поверх Qwen/Qwen3.5-0.8B от tgc97057 и CONNECT AI LAB. Модель читает текстовое описание состояния робота LINK-01 — цель, направление, датчики расстояния, скорость и прошлый выбор — и возвращает одну букву: как ходить следующие 0,5 секунды. Обучена на корейском для задачи choose_object в симуляторе.
Ключевые особенности
- LoRA поверх Qwen3.5-0.8B; библиотека
peft, задача reinforcement-learning. - Учитель — PPO-«мозг»
brain.jsonиз веб-тренажёра CONNECT AI WORLD; языковая модель имитирует его решения. - Сначала обучение на примерах, затем RL с KL-ограничением; 1682 train / 168 valid / 259 test.
- На test 100% ответов совпали с учителем после обучения на примерах и после RL; до обучения — 91,1%.
- В 20 прогонах на одной трассе успешных проходов 0% и столкновений 0% — это исследовательский результат, а не готовый контроллер.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = "Qwen/Qwen3.5-0.8B"
adapter = "tgc97057/connectailab-rl-gs.lee-ana-v01-v02-link01"
tok = AutoTokenizer.from_pretrained(base)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), adapter)
Подробнее
Бенчмарк: 100% совпадений с учителем на test после обучения на примерах и RL; 20 прогонов — 0% успеха и 0 столкновений.Обучение: PPO-учитель, 1682 train / 168 valid / 259 test, LoRA + RL с KL.
Ограничение: оценка на 2D-приближении ходьбы, без нейросети ходьбы; результаты могут отличаться от MuJoCo.
Назначение: исследования и обучение; перед реальным роботом нужна повторная проверка.










Comments