Датасет · OpenSafetyLab
Бенчмарк и данные для проверки безопасности LLM
OpenSafetyLab/Salad-Data
Сборник из 21 318 промптов и атак (jailbreak, токсичность) для тестирования и улучшения безопасности нейросетей.
Что внутри
В базовом наборе содержится 21 318 текстовых и табличных записей преимущественно на английском языке (есть небольшая мультиязычная часть), собранных для оценки безопасности моделей. Корпус объединяет как сгенерированные через GPT-3.5 запросы (15 433), так и данные из открытых источников вроде HH-harmless, HH-red-team, Advbench, ToxicChat и Do-Not-Answer.
Что можно сделать
- Тестирование LLM на устойчивость к джейлбрейкам и генерации вредного контента
- Обучение классификаторов-модераторов для фильтрации запросов и ответов нейросетей
- Задачи
- Классификация текста, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,9 тыс.
- Лайков
- 37
Модели, обученные на нём
- protectai/deberta-v3-base-prompt-injection-v2Классификация текста 380,7 тыс.
- protectai/deberta-v3-small-prompt-injection-v2Классификация текста 6,9 тыс.
- vllm-sr/mmbert32k-jailbreak-detector-mergedКлассификация текста 2,8 тыс.
- vllm-sr/Vela-2.0-0.8BZero-shot классификация 2 тыс.
- vllm-sr/Vela-2.0-0.3BZero-shot классификация 2 тыс.
- Horizon-Labs/content-safety-guard-smallКлассификация текста 1,1 тыс.
- vllm-sr/Vela-1.0-Encoder-307M-ShieldКлассификация текста 762
- Horizon-Labs/content-safety-guard-baseКлассификация текста 341
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenSafetyLab/Salad-Data")