actionproof-proc-a12-state-reward-s1
LoRA-адаптер для проверки действий агента в базе данных
2 мин чтения
Это исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью), созданный в рамках эксперимента ActionProof для обучения ИИ-агентов в симуляторе закупок ProcureSim. В этой среде ответ системы на запись данных выглядит одинаково, даже если операция выполнилась частично, продублировалась или не прошла вовсе, поэтому агенту приходится проверять реальное состояние базы. Адаптер обучен поверх CohereLabs/tiny-aya-global с предварительным прогревом (warm start) от автора atharvgaur18 методом GRPO (обучение с подкреплением с групповой оценкой ответов) с бинарной наградой только за подтверждённое состояние базы. Пригодится исследователям ИИ-агентов, которые изучают надёжность вызова инструментов и защиту от «фантомных» операций.
Ключевые особенности
- Бинарная награда по состоянию базы: при обучении через GRPO модель получает 1 только в том случае, если каждый запрошенный шаг подтверждён верификатором в самой базе данных.
- Защита от ложных подтверждений: адаптер тренировался в условиях, где сообщение об успешной записи идентично при полном, частичном, дублированном или нулевом выполнении.
- Двухэтапная сборка весов: свежая LoRA (r = 16) накладывается на базу
CohereLabs/tiny-aya-globalс предварительно вмердженным адаптеромactionproof-proc-warm-start. - Воспроизводимость эксперимента: параметры запуска зафиксированы в
run_config.json, а все цифры привязаны к файлам отчётов и пререгистрации в репозитории кода.
Что можно сделать
- Воспроизвести эксперимент ActionProof: запустить оценку агента в среде ProcureSim из репозитория автора и сравнить поведение при ненадёжных ответах API.
- Изучить паттерны самопроверки агентов: проанализировать, как модель выполняет повторное чтение состояния (read-back) после операций записи в симулированной базе данных.
- Сравнить разные сиды и награды: протестировать этот вариант (seed 1) вместе с соседними чекпоинтами серии
s0–s4для оценки стабильности обучения.
Пример
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="bfloat16")
base = PeftModel.from_pretrained(base, "atharvgaur18/actionproof-proc-warm-start").merge_and_unload()
model = PeftModel.from_pretrained(base, "atharvgaur18/actionproof-proc-a12-state-reward-s1")
Подробнее
Метрики наproc_conf (n = 300, greedy): verified safe completion — 0.793, phantom read-back — 253/253.Обучение: TRL 1.7.1 GRPO через AgentTune, 200 шагов, 4 промпта × 8 роллаутов, lr 2e-5, KL 0.02, T = 1, 16 ходов, LoRA r = 16.
Ограничения: исследовательский артефакт исключительно для симуляции закупок ProcureSim, не предназначен для реальных платежей.










Комментарии