Датасет · JailbreakBench
Бенчмарк джейлбрейков для LLM
JailbreakBench/JBB-Behaviors
Небольшой англоязычный бенчмарк для оценки успешности джейлбрейков и защиты от них у LLM.
Что внутри
JBB-Behaviors — открытый бенчмарк robustness для джейлбрейков больших языковых моделей. Он представлен на NeurIPS 2024 Datasets and Benchmarks Track и включает табличные и текстовые данные. Язык — английский, размер — менее 1000 примеров.
Что можно сделать
- Оценка устойчивости LLM к джейлбрейкам
- Сравнение атак и защит на разных моделях
- Проверка safety-фильтров
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 40,8 тыс.
- Лайков
- 154
Модели, обученные на нём
- codeintegrity-ai/promptguardКлассификация текста 1,6 тыс.
- Horizon-Labs/content-safety-guard-smallКлассификация текста 1 тыс.
- mradermacher/iconoclast-llama3.1-8b-GGUF 854
- mradermacher/iconoclast-mistral-7b-GGUF 610
- katanemo/Arch-GuardКлассификация текста 403
- dannyliv/agent-guard-modernbert-baseКлассификация текста 341
- Horizon-Labs/content-safety-guard-baseКлассификация текста 302
- onnx-community/content-safety-guard-small-ONNXКлассификация текста 150
Как загрузить
from datasets import load_dataset
ds = load_dataset("JailbreakBench/JBB-Behaviors")