Датасет · gretelai
Синтетические документы с разметкой персональных данных
gretelai/gretel-pii-masking-en-v1
Сгенерированные тексты из разных сфер с разметкой сущностей PII и PHI для обучения моделей анонимизации.
Что внутри
В датасете собраны синтетические англоязычные тексты (от 10 до 100 тысяч записей), насыщенные персональными данными (PII) и защищённой медицинской информацией (PHI) из различных доменов. Набор сгенерирован с помощью инструмента Gretel Navigator на базе модели mistral-nemo-2407.
Что можно сделать
- Дообучение моделей распознавания именованных сущностей (NER), в частности GLiNER
- Создание систем автоматического поиска и маскирования персональных и медицинских данных
- Проверка качества инструментов анонимизации текстов перед обучением LLM
- Задачи
- Классификация текста, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 6,2 тыс.
- Лайков
- 47
Модели, обученные на нём
- OpenMed/privacy-filter-nemotron-v2Разметка токенов 165 тыс.
- OpenMed/privacy-filter-multilingual-v2Разметка токенов 116,2 тыс.
- bardsai/eu-pii-anonimization-multilang-v3Разметка токенов 2 тыс.
- Horizon-Labs/pii-redactor-smallРазметка токенов 1,4 тыс.
- Horizon-Labs/pii-redactor-baseРазметка токенов 759
- nekomimi-llc/egemma-pii-secretsРазметка токенов 589
- crp4222/privaite-pii-minilmРазметка токенов 401
- gretelai/gretel-gliner-bi-large-v1.0Разметка токенов 118
Как загрузить
from datasets import load_dataset
ds = load_dataset("gretelai/gretel-pii-masking-en-v1")