К содержимому

Датасет · declare-lab

Бенчмарк и датасет для проверки безопасности LLM

declare-lab/HarmfulQA

Набор англоязычных промптов и ответов, сгенерированных через ChatGPT, для оценки уязвимостей и выравнивания моделей.

Что внутри

Это текстовый датасет на английском языке объёмом от 1 до 10 тысяч примеров. Данные получены с помощью дистилляции из ChatGPT с использованием методики Chain of Utterances (CoU) для ред-тиминга. Набор служит одновременно бенчмарком безопасности и материалом для выравнивания (alignment) языковых моделей.

Что можно сделать

  • Тестирование LLM на устойчивость к вредоносным запросам (ред-тиминг)
  • SFT или alignment-обучение моделей для повышения их безопасности
  • Обучение классификаторов для фильтрации опасного контента
Задачи
Генерация текста, Классификация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
4 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("declare-lab/HarmfulQA")