ActionProof GRPO (llm_judge)
RL-адаптер для проверки реального выполнения задач
2 min readupdated
Перед нами исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью), обученный с помощью обучения с подкреплением по алгоритму GRPO для среды ActionProof. В этой среде модель должна не просто отчитаться о выполнении действия, а реально довести его до конца — подтверждения в диалоге могут быть намеренно ложными, поэтому эпизоды оцениваются детерминированным верификатором по состоянию базы данных. Адаптер построен поверх модели CohereLabs/tiny-aya-global с предварительным warm-start чекпоинтом atharvgaur18/actionproof-rft-tiny-v2 и пригодится исследователям RL-методов и разработчикам ИИ-агентов.
Ключевые особенности
- Обучен методом GRPO (200 шагов по 4 промпта и 8 роллаутов, seed 0) на базе
CohereLabs/tiny-aya-global. - В качестве функции награды (reward) использована модель-судья Aya Expanse 8B, оценивающая вероятность завершения цели по транскрипту диалога.
- Решает проблему «ложных подтверждений» (false acknowledgements), когда агент заявляет об успехе без реального изменения состояния в базе данных.
- Компактный формат PEFT LoRA (ранг r = 16), требующий предварительного слияния базовой модели с warm-start адаптером.
Что можно сделать
- Воспроизвести эксперименты по обучению LLM-агентов с помощью GRPO и сравнить награду от LLM-судьи с детерминированной проверкой состояния.
- Протестировать устойчивость модели в агентских пайплайнах, где требуется строгое выполнение действий в базе данных, а не только вежливый ответ пользователю.
Пример
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="bfloat16")
base = PeftModel.from_pretrained(base, "atharvgaur18/actionproof-rft-tiny-v2").merge_and_unload()
model = PeftModel.from_pretrained(base, "atharvgaur18/actionproof-grpo-tiny-v2-llm-judge-s0")Подробнее
Метрика на тесте: verified-success completion (VSC) составила 0.610 на выборке test_iid (n = 200) при жадной генерации (greedy evaluation).Параметры обучения: lr 2e-5, β = 0.02, температура T = 1.
Лицензия и ограничения: CC-BY-NC-4.0 (только для исследовательских целей, некоммерческое использование).










Comments