Vulnerability Detector SFT
адаптеры для поиска уязвимостей в C/C++
2 мин чтенияобновлено
Набор из трёх QLoRA-адаптеров (лёгких надстроек для 4-битных моделей), которые проверяют функции на языках C и C++ и классифицируют их как безопасные (CLEAN) или уязвимые с указанием типа (VULNERABLE: CWE-). Адаптеры обучены методом SFT (дообучение с учителем) на датасете реальных уязвимостей BigVul в рамках магистерской диссертации в Университете Пармы. В репозиторий вошли версии для DeepSeek-Coder-6.7B-Instruct, Mistral-7B-Instruct-v0.3 и Qwen2.5-Coder-7B-Instruct. Модель только находит проблему без генерации исправлений и подойдёт разработчикам и специалистам по безопасности для первичного аудита кода или экспериментов в этой области.
Ключевые особенности
- Три готовых QLoRA-адаптера (rank 32, alpha 64) в подпапках под популярные кодовые и общие LLM на 6.7B–7B параметров.
- Лучший результат показал вариант на базе
deepseek-coder-6.7b: на тесте BigVul он находит 83,43% уязвимых функций при доле ложных срабатываний менее 5% (F1 = 0.5813, в 7 раз выше базовой модели без дообучения). - Автор честно предупреждает об ограничении: на парном наборе PrimeVul, где уязвимая функция сравнивается со своей же исправленной версией, адаптеры не отличают их лучше случайного угадывания — высокие оценки на BigVul во многом опираются на поверхностные паттерны.
- Строгий формат вывода: модель отвечает одной строкой без объяснений и советов по патчингу.
Что можно сделать
- Встроить адаптер на базе
deepseek-coder-6.7bв локальный скрипт предварительного статического анализа C/C++-функций в связке с 4-битным квантованием. - Воспроизвести эксперименты из диссертации по детекции CWE-уязвимостей и сравнить поведение кодовых LLM (DeepSeek-Coder и Qwen2.5-Coder) с универсальной Mistral-7B на одном и том же пайплайне.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)
tok = AutoTokenizer.from_pretrained("phazertron/vulnerability-detector-sft", subfolder="deepseek-coder-6.7b")
base = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-6.7b-instruct", quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(base, "phazertron/vulnerability-detector-sft", subfolder="deepseek-coder-6.7b")
Подробнее
Метрики на тестовой выборке BigVul:deepseek-coder-6.7b — F1 0.5813, Recall 0.8343, FPR 0.0469; mistral-7b — F1 0.4923, Recall 0.7130, FPR 0.0536; qwen2.5-coder-7b — F1 0.2156, Recall 0.1400, FPR 0.0072.Требуется системный промпт строгого формата:
You are a security auditor. Analyze the following C function. Output ONLY: VULNERABLE: CWE- OR CLEAN; на выходе ожидается строка вида VULNERABLE: CWE-787 или CLEAN.Обучено с PEFT 0.13.2, TRL 1.5.0 и Transformers 4.57.6 на датасете BigVul (наборы CASTLE и PrimeVul не использовались при обучении).
Лицензия смешанная: Apache 2.0 для адаптеров на базе Mistral и Qwen2.5-Coder, DeepSeek Model License — для DeepSeek-Coder.










Комментарии