Датасет · AI4Sec
Бенчмарк по киберразведке угроз (CTI) для LLM
AI4Sec/cti-bench
Набор тестовых заданий на английском языке для оценки знаний языковых моделей в области кибербезопасности.
Что внутри
Текстовый бенчмарк на английском языке размером от 1 000 до 10 000 примеров, созданный для проверки LLM в сфере разведки киберугроз (Cyber Threat Intelligence). В состав входят несколько компонентов, включая тесты с множественным выбором (CTI-MCQ) на знание стандартов, угроз и методов их обнаружения.
Что можно сделать
- Оценка компетенций языковых моделей в вопросах информационной безопасности и анализа угроз
- Сравнение различных LLM в задачах классификации инцидентов и ответов на вопросы по кибербезопасности
- Задачи
- Zero-shot классификация, Вопрос-ответ, Классификация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 22
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("AI4Sec/cti-bench")