SecureBERT CyNER NER
извлечение сущностей киберугроз и граф индикаторов
2 min readupdated
Модель и исследовательский пайплайн от команды Bina Nusantara University для задачи NER (распознавания именованных сущностей) в текстах по кибербезопасности. Решение построено на базе языковой модели SecureBERT (около 120 млн параметров) и обучено на корпусе CyNER для поиска пяти типов объектов: вредоносного ПО (Malware), индикаторов компрометации (Indicator), организаций, систем и уязвимостей (Vulnerability). Помимо самой разметки текста, репозиторий включает модуль для построения графа совместной встречаемости IoC (индикаторов компрометации) по новостным статьям с кластеризацией методом Louvain. Пригодится специалистам по CTI (аналитике киберугроз) и разработчикам систем автоматического анализа отчётов об атаках.
Ключевые особенности
- Точное выделение пяти категорий киберугроз с балансировкой редких классов (oversampling), решающей проблему нехватки примеров уязвимостей.
- Опережает базовые энкодеры BERT-base и RoBERTa-base в равных условиях обучения на 10 случайных сидах.
- Встроенный пайплайн построения графа связей между сущностями на базе Neo4j с выделением сообществ.
- Воспроизводимые скрипты для запуска абляций, бутстрэп-оценки и проверки на протоколе TSTEM.
Что можно сделать
- Автоматически размечать сводки об инцидентах и отчёты Threat Intelligence, выделяя вредоносы, уязвимости и целевые системы.
- Собирать граф связей индикаторов компрометации из потока профильных новостей и визуализировать кластеры в Neo4j.
- Использовать как готовый бейзлайн для дообучения моделей под свои закрытые базы данных об атаках.
Пример
python scripts/train_final_model.py
python scripts/run_phase3.py --refresh
python scripts/run_phase4.py
Подробнее
Качество на официальном сплите CyNER (среднее по 10 сидам): Micro F1 — 0.768 (против 0.683 у BERT-base и 0.731 у RoBERTa-base), Macro F1 — 0.759.На протоколе TSTEM (пословный F1): Malware 0.927, Indicator 0.949, System 0.842, Vulnerability 0.642, Organization 0.807.
Требования: при batch size 16 и длине последовательности 256 обучение занимает около 5.5 ГБ VRAM (тестировалось на RTX 5060 Laptop, PyTorch 2.10.0+cu128).
Ограничения: граф строится по факту совместного упоминания без разметки экспертами и не маппится в STIX 2.1 или MITRE ATT&CK; в классе Vulnerability тестовой выборки всего 10 примеров.










Comments