Датасет · allenai
Промпты для оценки токсичной генерации
allenai/real-toxicity-prompts
100 тыс. англоязычных фрагментов из веба с метаданными для проверки токсичной дегенерации нейросетей.
Что внутри
RealToxicityPrompts — набор из 100 тыс. фрагментов предложений из веба. Каждый пример содержит промпт и метаданные: имя файла, позиции begin/end и другое. Язык — английский; данные представлены в табличном и текстовом виде. Датасет предназначен для исследования риска neural toxic degeneration в моделях.
Что можно сделать
- Оценка токсичности LLM
- Фильтрация обучающих данных
- Тестирование safety-фильтров
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 16 тыс.
- Лайков
- 125
Модели, обученные на нём
- INC4AI/neural-chat-7b-v1-1Генерация текста 151
- abacusai/Toxicity-LensКлассификация текста 102
- opus-research/opus-moderation-4-largeКлассификация текста 67
- opus-research/opus-moderation-3Классификация текста 28
- ZetangForward/SegmentCNNКлассификация текста 25
- opus-research/opus-moderation-4-fastКлассификация текста 24
- sarimahsan101/qwen2.5-0.5b-detox-ppoГенерация текста 20
- sarimahsan101/Qwen2.5-0.5B-DPO-detox 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/real-toxicity-prompts")