К содержимому

Датасет · AmazonScience

Датасет против ложных отказов LLM (Over-Refusal)

AmazonScience/FalseReject

От 10 до 100 тысяч безопасных промптов с провокационными формулировками и эталонными ответами от Amazon Science.

Что внутри

Корпус от Amazon Science на английском языке объёмом от 10 до 100 тысяч примеров создан для борьбы с чрезмерной цензурой языковых моделей, когда нейросеть отказывается отвечать на безопасные запросы из-за «опасных» слов. Внутри лежат сгенерированные состязательным методом безвредные промпты по 44 категориям безопасности. К каждому запросу прилагается структурированный ответ с учётом контекста, помогающий модели отличать реальную угрозу от безопасного вопроса.

Что можно сделать

  • SFT-дообучение LLM для снижения числа ложных отказов на безобидные запросы
  • Оценка и калибровка фильтров безопасности (alignment) языковых моделей
Задачи
Генерация текста, Заполнение пропусков
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
944
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("AmazonScience/FalseReject")