Датасет · ai4privacy
Маскирование персональных данных PII
ai4privacy/pii-masking-300k
300 тыс. текстов на 6 языках с разметкой PII для обучения моделей удаления персональных данных.
Что внутри
Датасет для обучения и оценки моделей, которые удаляют персональные и чувствительные данные из текста. В этой версии — 300 тыс. примеров; языки: en, fr, de, it, es, nl; размер 100K<n<1M. Карточка ссылается на новые версии openpii-1.5m и openpii-1m с 30 и 23 языками и 19 классами PII; формат в карточке не указан.
Что можно сделать
- Обучить token-classification модель для поиска PII
- Оценить анонимизацию текста
- Дообучить мультиязычный NER-детектор персональных данных
- Задачи
- Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
- Языки
- Английский, Французский, Немецкий, Итальянский, Испанский, Нидерландский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 4,2 тыс.
- Лайков
- 119
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai4privacy/pii-masking-300k")