LineVul-MoE
110 чекпоинтов CodeBERT для поиска уязвимостей в коде
2 мин чтенияобновлено
LineVul-MoE от автора Hietan — это исследовательский набор из 110 дообученных чекпоинтов (сохранённых состояний модели) на базе microsoft/codebert-base, предназначенных для выявления уязвимостей в исходном коде на уровне функций и отдельных строк. Набор реализует подход оригинального метода LineVul и включает 11 вариантов моделей, обученных на 5 разных сидах (начальных значениях генератора случайных чисел) и 2 фиксированных разбиениях датасета BigVul. В отличие от одиночного бинарного классификатора, релиз разделяет задачу на общую детекцию и специализированные модели под конкретные типы уязвимостей CWE (Common Weakness Enumeration — стандартный классификатор уязвимостей). Релиз ориентирован на исследователей информационной безопасности и разработчиков инструментов статического анализа кода.
Ключевые особенности
- Три схемы обучения: All-in-One (бинарный поиск уязвимостей по всему датасету), Exclude (отдельный классификатор под каждый целевой CWE против безопасного кода) и One-Hot (распознавание целевого CWE среди уязвимых функций).
- Фокус на пяти ключевых классах уязвимостей:
CWE-119,CWE-20,CWE-399,CWE-125иCWE-200. - Два варианта разбиения данных BigVul: стандартный
official(повторяет оригинальный сплит LineVul) иproject(группирует проекты, CVE и коммиты перед разделением). - Высокая воспроизводимость: все 110 чекпоинтов сохранены в формате
model.safetensorsс проверкой хэшей черезmanifest.csvи отпечатками конфигураций вreproduction.json.
Что можно сделать
- Проводить сравнительные эксперименты по поиску уязвимостей на уровне функций, используя логиты бинарной модели с температурным масштабированием
sigmoid(logit / temperature). - Ранжировать конкретные уязвимые строки внутри функций на основе агрегации весов внимания (attention) первого слоя модели CodeBERT.
- Использовать готовые веса на 5 сидах (42, 2026, 31415, 27182, 123456) для воспроизведения и проверки результатов на строгом межпроектном сплите
projectбез утечки данных.
Пример
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
path = hf_hub_download(
repo_id="Hietan/LineVul-MoE",
subfolder="checkpoints/LineVul-MoE_Exclude_official_CWE-119_seed42",
filename="model.safetensors",
)
state = load_file(path, device="cpu")Подробнее
Базовая модель: microsoft/codebert-base (окно контекста 512 токенов).Всего в релизе: 110 чекпоинтов (11 вариантов × 5 сидов × 2 сплита BigVul).
Ограничения: для инференса требуется архитектура классификатора из экспериментального репозитория (ссылка на GitHub в карточке пока ожидается).
Лицензия: базовая CodeBERT под MIT, условия распространения самих чекпоинтов уточняются.










Комментарии