Датасет · declare-lab
Бенчмарк и датасет для проверки безопасности LLM
declare-lab/HarmfulQA
Набор англоязычных промптов и ответов, сгенерированных через ChatGPT, для оценки уязвимостей и выравнивания моделей.
Что внутри
Это текстовый датасет на английском языке объёмом от 1 до 10 тысяч примеров. Данные получены с помощью дистилляции из ChatGPT с использованием методики Chain of Utterances (CoU) для ред-тиминга. Набор служит одновременно бенчмарком безопасности и материалом для выравнивания (alignment) языковых моделей.
Что можно сделать
- Тестирование LLM на устойчивость к вредоносным запросам (ред-тиминг)
- SFT или alignment-обучение моделей для повышения их безопасности
- Обучение классификаторов для фильтрации опасного контента
- Задачи
- Генерация текста, Классификация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 4 тыс.
- Лайков
- 49
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("declare-lab/HarmfulQA")