EVIDENCELOCK C1
исследовательский адаптер с негативным результатом
2 min readupdated
PEFT-адаптер (небольшая надстройка над базовой моделью) для CohereLabs/tiny-aya-global от автора Earther, опубликованный ради научной прозрачности в рамках проекта EVIDENCELOCK. Автор прямо предупреждает, что модель не предназначена для практического использования: это артефакт эксперимента с методом Counterfactual Verification Training (CVT), который ухудшил показатели безопасности и валидности по сравнению с контрольной версией C0. Адаптер пригодится исследователям безопасности ИИ и разработчикам агентов, которые изучают сбои при обучении моделей верификации действий.
Ключевые особенности
- Обучен поверх чекпоинта M1 за 60 шагов с помощью стандартного SFT (обучение с учителем) и добавлением CVT-компонента с весом 0.1.
- Показал падение доли безопасного завершения задач (Secure completion) на 52.5 процентных пункта относительно контрольного адаптера C0.
- Оснащён фиксированным SHA-256 хешем и привязан к конкретной ревизии базовой модели
CohereLabs/tiny-aya-global. - Распространяется по некоммерческой лицензии CC BY-NC 4.0 с дополнением Cohere Labs Acceptable Use Addendum.
Что можно сделать
- Воспроизвести эксперимент из репозитория EVIDENCELOCK и изучить таксономию сбоев при попытках обучить модель контрфактической верификации.
- Сравнить поведение весов C1 с контрольным адаптером
Earther/evidencelock-track3-c0на закрытой панели из 120 рабочих процессов (workflows).
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id, rev = "CohereLabs/tiny-aya-global", "af89d219b53ed9b13b8a4645f9c8028973510324"
tok = AutoTokenizer.from_pretrained(base_id, revision=rev)
model = AutoModelForCausalLM.from_pretrained(base_id, revision=rev, torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Earther/evidencelock-track3-c1")
Подробнее
Бенчмарк на 120 сложных сценариях (C1 против контрольного C0): Secure completion — 28/120 против 91/120; Required verification — 11/96 против 96/96; Schema-valid proposals — 184/337 против 336/336.Количество заблокированных несанкционированных попыток выросло с 29 до 159, при этом реальных несанкционированных выполнений — 0.
Для точного повторения замеров требуется Runtime B из репозитория проекта (контекст 4096 токенов, greedy decoding, до 160 новых токенов) и принятие условий доступа к базовой модели Tiny Aya Global.










Comments