CIEAV-Model
оценка рисков и последствий для ИИ-агентов
2 min readupdated
CIEAV-Model — это специализированный LoRA-адаптер (лёгкая надстройка над базовой нейросетью) на базе Qwen2.5-Coder-7B-Instruct, созданный для персонального ИИ-агента CIEAV автором Aravindhan11. Перед тем как агент выполнит команду на компьютере, модель оценивает её побочные эффекты, уровень риска (от LOW до CRITICAL) и возможность отката изменений. В отличие от обычных моделей, обученных на субъективных оценках (RLHF), эта версия прошла дообучение методом GRPO с детерминированной проверкой (RLVR — обучение с подкреплением на проверяемых наградах), что мешает ей поддаваться на уловки и промпт-инъекции. Подойдёт разработчикам локальных автономных агентов и систем безопасности для ИИ.
Ключевые особенности
- Анализ последствий и обратимости: классифицирует действия по уровню опасности и проверяет возможность безопасного отката через снапшоты и контракты
/undo. - Защита от обхода правил (Anti-Reward Hacking): модель жёстко штрафуется за недооценку критических рисков, утечку ключей и выполнение скрытых инструкций из промпт-инъекций.
- Асимметричный порог безопасности: модель может только повысить уровень риска действия, но не способна занизить заданный политикой минимум.
- Быстрый локальный запуск: работает как LoRA Rank 16 поверх 7B-модели, поддерживая 4-битное квантование через Unsloth.
Что можно сделать
- Встроить в ИИ-агента CIEAV: подключить модель в локальный рантайм агента для безопасной очистки файлов или аудита сетевых портов.
- Добавить слой проверки команд: использовать как локальный фильтр перед запуском опасных системных утилит и скриптов на ПК.
- Защитить рабочие процессы от утечек: проверять параметры вызова инструментов на наличие API-ключей и учётных данных перед выполнением.
Пример
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="Aravindhan11/Cieav-model", max_seq_length=2048, load_in_4bit=True
)
FastLanguageModel.for_inference(model)
prompt = "<|im_start|>user\nPlan and inspect risk: delete directory ./dist<|im_end|>\n<|im_start|>assistant\n"
outputs = model.generate(**tokenizer([prompt], return_tensors="pt").to("cuda"), max_new_tokens=256)
Подробнее
Тесты на 1 250 сценариях атак: 0% пропущенных критических рисков, 100% защита от промпт-инъекций и утечки секретов, 99.4% точность оценки обратимости.Задержка инференса (P50): 1.84 мс локально в процессе.
Детали обучения: Qwen2.5-Coder-7B-Instruct + LoRA Rank 16, обучение через Unsloth GRPO (batch N=8), лицензия Apache-2.0.










Comments