CONNECT TYCOON RL v5

Исследовательская LoRA от yegom / CONNECT AI LAB на базе Qwen/Qwen3.5-0.8B. Модель читает состояние компании, вопрос и список вариантов, а отвечает одной буквой выбранного решения; вероятность каждой буквы трактуется как вероятность варианта. Обучена на данных симулятора CONNECT TYCOON для задач принятия решений.

📝 Ключевые особенности

• 🤔 На входе — состояние, вопрос и опции; на выходе — ровно одна буква без объяснений.
• 📝 Вероятности букв соответствуют вероятностям вариантов, максимальная — уверенности модели.
• 🗣 LoRA для Qwen/Qwen3.5-0.8B, обученная на данных симулятора CONNECT TYCOON.
• 😎 Схема обучения: PPO-политика-учитель → supervised по лучшим вариантам → RL с групповой нормализацией преимущества и KL к базовой модели.
• 🤓 Домен general; 4082 / 832 / 840 вопросов в train / valid / test.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained('Qwen/Qwen3.5-0.8B')
base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3.5-0.8B')
model = PeftModel.from_pretrained(base, 'yegom/connectailab-rl-yegomne-v5')

Подробнее

RL-версия: 73,9% на тесте, regret 4,10; в симуляторе — 11,76 млн вон прибыли за месяц, на реальных карточных транзакциях потери снижены на 72% (159/177).
Supervised-вариант: 77,3%, regret 3,90; базовая Qwen до обучения — 36,9%.
Первый эксперимент: среднее за 2 незнакомых месяца, выборка небольшая, до политики-учителя пока не дотягивает.
Это исследовательская и образовательная модель на синтетическом симуляторе; перед реальными решениями проверяйте на записях компании.