Beneficial trait RL
LoRA для полезных черт gpt-oss-20b
2 min readupdated
Это LoRA-адаптеры (небольшие надстройки над базовой моделью) для openai/gpt-oss-20b, обученные в рамках открытой репликации статьи о reinforcement learning для «широко и устойчиво полезных» моделей. Авторы сравнили два прогона: обычный RL на медицинских и математических задачах и trait RL, где 25% каждого батча заменяли синтетическими health-диалогами с наградой за truthfulness, corrigibility, metacognitive transparency и другие полезные черты. На выходе — rank-32 LoRA в формате PEFT для attention, MLP, expert-слоёв и output head, с чекпоинтами на 20, 50, 80 и 100 шагах. Пригодится исследователям, которые хотят проверить или использовать адаптер с улучшенными «полезными» качествами; это исследовательские чекпоинты, не для медицинских советов.
Ключевые особенности
- Два набора чекпоинтов: normal_rl и beneficial_trait_rl, по шагам 20/50/80/100.
- Rank-32 LoRA (lora_alpha 32) в PEFT для attention, MLP, expert-слоёв и output head.
- Обучение на Tinker: 100 шагов, 32 промпта × 16 сэмплов, learning rate 4e-5, Harmony chat format и medium reasoning effort.
- На step 100 trait RL обгоняет normal RL на held-out trait benchmark на +21.5 пункта (95% CI [17.2, 25.8]).
- По карточке, нет значимой потери на MedMCQA, MedQA, MedCalc-Bench, MATH, GPQA Diamond, HMMT и IFEval.
Что можно сделать
- Подключить step_100 через vLLM как LoRA-модуль trait_rl и сравнить ответы с базовой gpt-oss-20b.
- Загрузить адаптер через PEFT и исследовать, как меняются truthfulness, corrigibility и metacognitive transparency в диалогах.
- Использовать normal_rl как compute-matched baseline в собственных экспериментах с RL.
- Тестировать health-сценарии, помня, что чекпоинты не предназначены для медицинских советов.
Пример
hf download Aansh123/beneficial-trait-rl --include "beneficial_trait_rl/step_100/*" --local-dir ckpt
vllm serve openai/gpt-oss-20b --enable-lora --max-lora-rank 32 \
--lora-modules trait_rl=ckpt/beneficial_trait_rl/step_100
Подробнее
Бенчмарки step 100 (trait RL минус normal RL, 95% CI): held-out trait +21.5 [17.2, 25.8]; MASK +26.8 [14.6, 39.0]; DeceptionBench +15.0 [9.4, 21.2].HealthBench +13.1 [7.1, 19.0]; sycophancy +10.1 [4.3, 16.3].
Обучение: Tinker, 100 шагов, один seed на запуск; чекпоинты исследовательские, не для медицинских советов.










Comments