cyberdef-vuln-qwen2.5-7b-primevul
поиск уязвимостей в коде на базе Qwen2.5-7B
2 мин чтенияобновлено
QLoRA-адаптер (квантованная надстройка над базовой моделью) для Qwen/Qwen2.5-7B-Instruct, созданный для автоматической первичной проверки исходного кода на наличие уязвимостей. На вход подаётся отдельная функция, а на выходе модель выдаёт вердикт VERDICT: VULNERABLE или VERDICT: SAFE, при необходимости указывая тип уязвимости по классификации CWE. Разработка создана автором Pallav Pokhriyal специально для задач защиты (blue-team): модель заметно превосходит базовую Qwen2.5-7B в ранжировании уязвимого кода и опережает сопоставимые открытые аналоги вроде Qwen2.5-Coder-7B и Foundation-Sec-8B. Инструмент пригодится специалистам по информационной безопасности и разработчикам для быстрой сортировки кода перед ручным аудитом.
Ключевые особенности
- Специализация на поиске уязвимостей: модель работает исключительно как классификатор для первичного анализа функций, не генерирует эксплойты и не пытается самостоятельно исправлять код.
- Поддержка режима неуверенности: адаптер откалиброван для использования с порогом отказа (abstention threshold), позволяя системе воздерживаться от ответа при недостаточной уверенности.
- Переносимость на новые данные: улучшение качества подтверждено не только на целевом наборе PrimeVul, но и на стороннем датасете DiverseVul по четырём прогонам (seeds).
- Обучение на реальных данных: при тренировке использовался только очищенный от утечек обучающий сплит PrimeVul без синтетики и ответов коммерческих API.
Что можно сделать
- Ускорить триаж кода в DevSecOps: встроить модель как вспомогательный фильтр для первичной разметки пул-реквестов или больших массивов функций перед передачей их специалисту по безопасности.
- Настроить фильтрацию с порогом уверенности: использовать откалиброванные вероятности токенов (logprobs) для отсеивания спорных фрагментов кода, требующих обязательной ручной проверки.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = "Qwen/Qwen2.5-7B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, device_map="auto")
model = PeftModel.from_pretrained(model, "pallav0101/cyberdef-vuln-qwen2.5-7b-primevul")
Подробнее
Бенчмарки: на PrimeVul показатель AUROC вырос с 0.658 (база) до 0.786; также адаптер занял первое место на CodeXGLUE Devign в рамках единого протокола оценки по logprob.Параметры обучения: QLoRA (4-bit nf4, r=16, alpha=32) на базе Qwen2.5-7B-Instruct.
Ограничения: модель не заменяет человека и не подходит для автономной блокировки кода; ложный вердикт SAFE не гарантирует отсутствие багов.
Лицензии: адаптер — MIT, базовая модель — Apache-2.0.










Комментарии