К содержимому

Датасет · nvidia

Синтетические данные для поиска персональных данных в японском

nvidia/Nemotron-PII-Japan

Набор от NVIDIA для обучения и оценки моделей поиска и маскирования японской персональной информации (PII).

Что внутри

Синтетический датасет от NVIDIA размером от 100 тысяч до 1 миллиона примеров на японском языке для задачи token-classification. Данные построены на основе вымышленных персон и охватывают японские имена, адреса, идентификаторы, финансовые реквизиты, названия организаций и рабочие документы, что позволяет обучать модели без использования реальных конфиденциальных текстов.

Что можно сделать

  • Обучение NER-моделей для обнаружения и анонимизации персональных данных (PII) в японских текстах
  • Создание фильтров безопасности и DLP-систем для корпоративного документооборота на японском языке
  • Тестирование точности извлечения чувствительных сущностей в финансовых и деловых документах
Задачи
Разметка токенов
Языки
Японский
Размер
100K–1M записей
Скачиваний за месяц
640
Лайков
12

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-PII-Japan")