Vulnerability Detector
поиск уязвимостей в коде C и LLVM IR
2 мин чтенияобновлено
Репозиторий содержит два QLoRA-адаптера (небольшие надстройки над базовой моделью с 4-битным квантованием) на базе Qwen2.5-Coder-7B-Instruct от автора phazertron, созданные в рамках магистерской диссертации в Университете Пармы. Оба варианта обучены на синтетическом наборе программ SARD Juliet для поиска уязвимостей и определения их типа по классификации CWE (Common Weakness Enumeration — стандартный каталог типов уязвимостей ПО): первый работает с исходным кодом на C, а второй — с промежуточным представлением LLVM IR. На выходе модель выдает однострочный вердикт (например, VULNERABLE: CWE-787 или CLEAN). Главная находка эксперимента в том, что версия на LLVM IR хуже определяет сам факт наличия бага, но заметно точнее называет конкретный тип уязвимости CWE. Набор пригодится исследователям безопасности и ML-инженерам для воспроизведения экспериментов из работы, но не для проверки реальных проектов.
Ключевые особенности
- Два адаптера в одном репозитории: в подпапках
irиsourceлежат версии для LLVM IR (полученного черезclang -O0 -emit-llvm) и исходного кода на C соответственно. - Контраст в метриках: на тестовом сплите
ir-версия достигла точности определения типа CWE 0.7742 против 0.1455 уsource(при этом по Binary F1 лидируетsource— 0.5069 против 0.3116). - Единая база и конфигурация: оба адаптера обучены на синтетических C-программах SARD Juliet поверх Qwen2.5-Coder-7B-Instruct под лицензией Apache 2.0.
Что можно сделать
- Воспроизвести научный эксперимент: сравнить поведение LLM при анализе исходного кода и низкоуровневого представления LLVM IR на одних и тех же функциях.
- Изучить атрибуцию уязвимостей: протестировать классификацию по 13 различным категориям CWE на синтетических примерах из набора SARD Juliet.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base_id = "Qwen/Qwen2.5-Coder-7B-Instruct"
repo = "phazertron/vulnerability-detector-ir-source"
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base_id, quantization_config=bnb, device_map="auto"), repo, subfolder="ir")Подробнее
Метрики (246 записей): Binary F1 — 0.5069 (source) и 0.3116 (ir); точность CWE при обнаружении — 0.1455 (source) и 0.7742 (ir).Параметры QLoRA: rank 32, alpha 64, dropout 0.05, бюджет контекста 2048 токенов, 4-bit NF4.
Стек: PEFT 0.13.2, TRL 1.5.0, Transformers 4.57.6.
Ограничения: модель обучена на синтетике SARD Juliet и не переносится на реальный продакшен-код.










Комментарии