ConnectAI Lab RL NIL v1
0.8B-модель выбирает решение в бизнес-симуляторе
1 min read
Исследовательская LoRA-модель от CONNECT AI LAB × AI CITY BUILDERS на базе Qwen/Qwen3.5-0.8B. Она читает состояние, вопрос и список вариантов и возвращает одну букву выбранного ответа; обучена на данных симулятора CONNECT TYCOON для корейского языка.
Ключевые особенности
- База — Qwen/Qwen3.5-0.8B, адаптация через LoRA (библиотека peft).
- Пайплайн: PPO-политика в симуляторе → разметка вариантов → SFT → RL с групповой нормализацией преимуществ и KL-штрафом к стартовой модели.
- На тесте: 65,0% против 30,0% у базовой модели; regret снизился с 4,79 до 4,12.
- Данные: распределение general, 4082 примера в train, 832 в valid и 840 в test.
- Формат ответа — ровно одна буква варианта; вероятность буквы трактуется как вероятность выбора.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B")
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B"), "pwg0218/connectailab-rl-nil-v1")
Подробнее
Точность: 30,0% у Qwen до обучения, 62,6% после SFT, 65,0% после RL; regret — 4,79 → 4,15 → 4,12.В симуляторе месячная прибыль RL-версии — −3,19 млн вон; снижение потерь в реальных карточных транзакциях — 37% (91/177).
Первый эксперимент: среднее по двум незнакомым месяцам, выборка небольшая, модель пока ниже политики-учителя.
Это исследовательская и образовательная модель; перед реальными управленческими решениями проверяйте её на записях компании.










Comments