Датасет · nvidia
Мультиязычный датасет безопасности ответов от NVIDIA
nvidia/Nemotron-Safety-Guard-Dataset-v3
Более полумиллиона примеров на 12 языках для обучения фильтров безопасности (guard-моделей) в LLM.
Что внутри
Датасет содержит около 514 617 текстовых примеров на 12 языках, включая английский, немецкий, французский, испанский, арабский, китайский и хинди. Данные преимущественно сгенерированы синтетически с помощью пайплайна CultureGuard для оценки безопасности контента.
Что можно сделать
- Обучение мультиязычных моделей-модераторов для фильтрации запросов и ответов LLM
- Классификация небезопасного контента на 12 языках
- Оценка устойчивости языковых моделей к токсичным или опасным темам
- Задачи
- Классификация текста, Генерация текста
- Языки
- Английский, Арабский, Немецкий, Испанский, Французский, Хинди, Итальянский, Японский и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 4 тыс.
- Лайков
- 38
Модели, обученные на нём
- nvidia/Llama-3.1-Nemotron-Safety-Guard-8B-v3Генерация текста 8,5 тыс.
- vllm-sr/Vela-2.0-0.8BZero-shot классификация 2 тыс.
- vllm-sr/Vela-2.0-0.3BZero-shot классификация 2 тыс.
- Horizon-Labs/content-safety-guard-smallКлассификация текста 1,1 тыс.
- vllm-sr/Vela-1.0-Encoder-307M-ShieldКлассификация текста 762
- mradermacher/Llama-3.1-Nemotron-Safety-Guard-8B-v3-GGUF 498
- Horizon-Labs/content-safety-guard-baseКлассификация текста 341
- vllm-sr/Vela-2.0-9BZero-shot классификация 248
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Safety-Guard-Dataset-v3")