Датасет · AmazonScience
Датасет против ложных отказов LLM (Over-Refusal)
AmazonScience/FalseReject
От 10 до 100 тысяч безопасных промптов с провокационными формулировками и эталонными ответами от Amazon Science.
Что внутри
Корпус от Amazon Science на английском языке объёмом от 10 до 100 тысяч примеров создан для борьбы с чрезмерной цензурой языковых моделей, когда нейросеть отказывается отвечать на безопасные запросы из-за «опасных» слов. Внутри лежат сгенерированные состязательным методом безвредные промпты по 44 категориям безопасности. К каждому запросу прилагается структурированный ответ с учётом контекста, помогающий модели отличать реальную угрозу от безопасного вопроса.
Что можно сделать
- SFT-дообучение LLM для снижения числа ложных отказов на безобидные запросы
- Оценка и калибровка фильтров безопасности (alignment) языковых моделей
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 944
- Лайков
- 37
Модели, обученные на нём
- mradermacher/Stentor-30M-Instruct-heretic-safety-defiltered-i1-GGUFГенерация текста 499
- mradermacher/Stentor-12M-Instruct-GGUFГенерация текста 252
- Flexan/StentorLabs-Stentor-12M-Instruct-GGUFГенерация текста 233
- mradermacher/Stentor-30M-Instruct-heretic-safety-defiltered-GGUFГенерация текста 212
- mradermacher/Stentor-30M-Instruct-GGUFГенерация текста 202
- StentorLabs/Stentor-30M-InstructГенерация текста 80
- MihaiPopa-1/Stentor-30M-Instruct-heretic-safety-defilteredГенерация текста 59
- partyhat-hf/partyhat-safety-encoderКлассификация текста 49
Как загрузить
from datasets import load_dataset
ds = load_dataset("AmazonScience/FalseReject")