К содержимому

Датасет · nvidia

Мультиязычный датасет безопасности ответов от NVIDIA

nvidia/Nemotron-Safety-Guard-Dataset-v3

Более полумиллиона примеров на 12 языках для обучения фильтров безопасности (guard-моделей) в LLM.

Что внутри

Датасет содержит около 514 617 текстовых примеров на 12 языках, включая английский, немецкий, французский, испанский, арабский, китайский и хинди. Данные преимущественно сгенерированы синтетически с помощью пайплайна CultureGuard для оценки безопасности контента.

Что можно сделать

  • Обучение мультиязычных моделей-модераторов для фильтрации запросов и ответов LLM
  • Классификация небезопасного контента на 12 языках
  • Оценка устойчивости языковых моделей к токсичным или опасным темам
Задачи
Классификация текста, Генерация текста
Языки
Английский, Арабский, Немецкий, Испанский, Французский, Хинди, Итальянский, Японский и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
4 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Safety-Guard-Dataset-v3")