Датасет · ai4privacy
PII-маскирование на 200 тыс. примеров
ai4privacy/pii-masking-200k
Тексты с персональными данными на английском, французском, немецком и итальянском для обучения privacy masking.
Что внутри
В датасете тексты на английском, французском, немецком и итальянском с разметкой персональных данных (PII) для задач маскирования. Метаданные относят его к классификации текста и токенов, question-answering, суммаризации и zero-shot-классификации. Карточка называет его открытым датасетом для privacy masking и ссылается на более новую флагманскую версию openpii-1.5m.
Что можно сделать
- Дообучить NER-модель для поиска PII
- Настроить маскирование PII в текстах
- Проверить zero-shot классификацию PII
- Задачи
- Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
- Языки
- Английский, Французский, Немецкий, Итальянский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 132
Модели, обученные на нём
- OpenMed/privacy-filter-multilingual-v2Разметка токенов 114,3 тыс.
- OpenMed/privacy-filter-multilingualРазметка токенов 107,5 тыс.
- Isotonic/deberta-v3-base_finetuned_ai4privacy_v2Разметка токенов 26,8 тыс.
- Isotonic/distilbert_finetuned_ai4privacy_v2Разметка токенов 11,6 тыс.
- rv2307/electra-small-nerРазметка токенов
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai4privacy/pii-masking-200k")