К содержимому

Датасет · AI4Sec

Бенчмарк по киберразведке угроз (CTI) для LLM

AI4Sec/cti-bench

Набор тестовых заданий на английском языке для оценки знаний языковых моделей в области кибербезопасности.

Что внутри

Текстовый бенчмарк на английском языке размером от 1 000 до 10 000 примеров, созданный для проверки LLM в сфере разведки киберугроз (Cyber Threat Intelligence). В состав входят несколько компонентов, включая тесты с множественным выбором (CTI-MCQ) на знание стандартов, угроз и методов их обнаружения.

Что можно сделать

  • Оценка компетенций языковых моделей в вопросах информационной безопасности и анализа угроз
  • Сравнение различных LLM в задачах классификации инцидентов и ответов на вопросы по кибербезопасности
Задачи
Zero-shot классификация, Вопрос-ответ, Классификация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
2,2 тыс.
Лайков
22

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("AI4Sec/cti-bench")