К содержимому

Датасет · gretelai

Синтетические документы с разметкой персональных данных

gretelai/gretel-pii-masking-en-v1

Сгенерированные тексты из разных сфер с разметкой сущностей PII и PHI для обучения моделей анонимизации.

Что внутри

В датасете собраны синтетические англоязычные тексты (от 10 до 100 тысяч записей), насыщенные персональными данными (PII) и защищённой медицинской информацией (PHI) из различных доменов. Набор сгенерирован с помощью инструмента Gretel Navigator на базе модели mistral-nemo-2407.

Что можно сделать

  • Дообучение моделей распознавания именованных сущностей (NER), в частности GLiNER
  • Создание систем автоматического поиска и маскирования персональных и медицинских данных
  • Проверка качества инструментов анонимизации текстов перед обучением LLM
Задачи
Классификация текста, Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
6,2 тыс.
Лайков
47

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("gretelai/gretel-pii-masking-en-v1")