ICSA Grounded Assistant
LoRA-адаптер против галлюцинаций в промбезопасности
2 min readupdated
QLoRA-адаптер (небольшая надстройка над базовой моделью с квантованием) для Qwen/Qwen2.5-7B-Instruct, созданный для ответов строго по предоставленным документам по информационной безопасности промышленных систем (ICS/OT). Модель опирается на корпус бюллетеней CISA ICS и стандарта NIST SP 800-82r3, указывает ID источника или раздел стандарта, а при выходе вопроса за рамки контекста отвечает заданной фразой отказа вместо додумывания. Адаптер создан автором incharajayaram2020 в рамках хакатона Lexsi AI Safety & Alignment Hackathon (Track 1) с использованием фреймворка AlignTune. Пригодится разработчикам RAG-систем и специалистам по кибербезопасности, которым важна строгая привязка ответов к источникам.
Ключевые особенности
- Обучен отвечать строго по переданному контексту бюллетеней CISA и NIST SP 800-82r3 без угадывания CVE ID и оценок CVSS.
- Умеет корректно отказываться от ответа (фраза
Not covered in the available advisories), если нужных данных нет в контексте. - В обучающую выборку добавлены 50 синтетических примеров для отказа (вопросы вне корпуса и состязательные промпты со схожими названиями вендоров).
- Обучен с помощью QLoRA (4-bit,
lora_r=16,lora_alpha=32) на одной GPU T4.
Что можно сделать
- Встроить в корпоративного ассистента для анализа отчётов по уязвимостям промышленного оборудования (ICS/OT) с проверкой наличия фактов в базе.
- Использовать как референс для обучения собственных LoRA-адаптеров, которые учат LLM отказываться от ответа при нехватке данных в RAG.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-7B-Instruct",
quantization_config=BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16),
device_map="cuda",
)
model = PeftModel.from_pretrained(base, "incharajayaram2020/icsa-grounded-assistant-adapter")Подробнее
Оценка на 12 отложенных примерах (AuditKIT): 6/6 верных ответов по контексту, 6/6 корректных отказов,factual_consistency: 0.7500 ± 0.0722, abstention: 0.5000.Обучение: 192 QA-пары из бюллетеней CISA ICS и NIST SP 800-82r3 + 50 примеров отказа, 3 эпохи (до 300 шагов),
lr=2e-4.Железо и запуск: обучен на одной Colab T4; запускать поверх 4-битной базы на GPU без вызова
merge_and_unload() на device_map="auto".Ограничения: при свободной генерации форматирование ссылки
(Source: ...) срабатывает нестабильно; узкоспециализированный адаптер под конкретный корпус документов.









Comments