EVIDENCELOCK GRPO-3
исследовательский LoRA-адаптер для проверки безопасности действий ИИ
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) от автора Earther, обученная поверх модели CohereLabs/tiny-aya-global в рамках проекта EVIDENCELOCK. Задача эксперимента — научить языковую модель безопасно обрабатывать рабочие сценарии с проверкой полномочий и лимитов трат, чтобы она не одобряла неавторизованные операции. Адаптер дообучали методом GRPO (алгоритм обучения с подкреплением на основе группового сравнения ответов) с закрытием лазейки в функции награды, однако итоговый результат оказался отрицательным: модель не прошла заранее заданные критерии качества. Автор опубликовал веса и подробные замеры ради прозрачности исследований, а для работы рекомендует использовать предыдущий вариант C0. Материал пригодится исследователям безопасности ИИ и разработчикам, изучающим поведение RL-обучения на задачах с жёсткими ограничениями.
Ключевые особенности
- Архитектура адаптера: LoRA с рангом 8, применённая к слоям
q_projиv_projбазовой модели Tiny Aya Global. - Изменения в GRPO-3: обучение стартовало с чекпоинта T3-SFT, использовало промпт оценки и штрафовало за нечитаемый формат вывода как за небезопасную попытку.
- Легитимные одобрения: на основной тестовой панели модель корректно одобрила 96 из 96 разрешённых операций и не допустила ни одного несанкционированного исполнения (0).
- Проблема с лимитами трат: распознавание превышения лимита упало с 4/48 у стартовой модели до 0/48 — адаптер сначала пытался одобрить все 48 таких сценариев.
Что можно сделать
- Изучить динамику GRPO-обучения: разобрать, как штраф за невалидный формат и оптимизация награды смещают баланс между ложными отказами и пропуском ограничений.
- Воспроизвести замеры безопасности: протестировать поведение адаптера на синтетических сценариях авторизации и сравнить его со стартовым чекпоинтом T3-SFT.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id, rev = "CohereLabs/tiny-aya-global", "af89d219b53ed9b13b8a4645f9c8028973510324"
tok = AutoTokenizer.from_pretrained(base_id, revision=rev)
model = AutoModelForCausalLM.from_pretrained(base_id, revision=rev, torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Earther/evidencelock-track3-grpo3")Подробнее
Метрики на основной панели (264 сценария): безопасное завершение — 216/264 (против 219/264 у T3-SFT), флаги лимита трат — 0/48, на стресс-панели — 108/132.Обучение: 157 шагов GRPO на одной видеокарте L40S (бюджет 150 минут, learning rate 1e-5, beta 0, seed 20261117).
Ограничения: только синтетические тексты на английском языке, предназначено исключительно для исследований и запуска внутри изолированной песочницы с проверкой прав.
Лицензия: Cohere CC BY-NC 4.0 с дополнением Acceptable Use Addendum (базовая модель требует принятия условий доступа).










Комментарии