LINK-01 v5

LoRA-адаптер для Qwen/Qwen3.5-0.8B от zero885814 / CONNECT AI LAB: он переносит в языковую модель решения PPO-«мозга» робота LINK-01. Модель читает состояние робота и выбирает букву действия на следующие 0.5 секунды; карточка на корейском, это исследовательский и образовательный проект.

✨ Ключевые особенности

• 🕸 LoRA поверх Qwen3.5-0.8B, задача reinforcement-learning, библиотека peft.
• 🌕 Пайплайн: PPO-мозг в веб-симуляторе → 996/177/268 примеров → SFT → RL с KL-ограничением.
• ⭐ В v5 штраф за столкновение снижен с -2.0 до 0.0; в остальном v5 повторяет v4.
• ✅ На тесте 79.5% совпадения с учителем; в 20 прогонах 90% успешных и 15% со столкновениями.
• ⏳ Оценка идёт на 2D-приближении ходьбы, а не на реальном роботе.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tok = AutoTokenizer.from_pretrained('Qwen/Qwen3.5-0.8B')
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained('Qwen/Qwen3.5-0.8B'),
    'zero885814/connectailab-rl-grid-empathy-v5-link01'
)

Подробнее

Бенчмарки: учитель-PPO — 100% на тесте, 100% успеха и 5% столкновений; SFT — 80.2% / 70% / 30%; RL — 79.5% / 90% / 15%.
Потолок совпадения с учителем — 99%; наборы: train 996, valid 177, test 268.
Ограничение: симулятор и 2D-приближение; перед реальным роботом нужна повторная проверка.