Датасет · openbmb
Инструкции и джейлбрейки для проверки безопасности LLM
openbmb/UltraSafety
3 000 вредоносных инструкций и промптов для взлома моделей с готовыми ответами для обучения и тестирования безопасности.
Что внутри
Внутри собраны 3 000 небезопасных инструкций на английском языке, к каждой из которых приложены промпт для джейлбрейка и сгенерированный ответ. Первую тысячу взяли из AdvBench и MaliciousInstruct, ещё две тысячи догенерировали методом Self-Instruct, а 830 джейлбрейк-промптов вручную отобрали из AutoDAN.
Что можно сделать
- SFT или RLHF для повышения устойчивости языковых моделей к вредоносным запросам
- Тестирование LLM на уязвимость к джейлбрейкам
- Обучение классификаторов и фильтров токсичного или опасного ввода
- Задачи
- Вопросы по картинкам
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 128
- Лайков
- 37
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraSafety")