Датасет · ai4privacy
Многоязычный корпус для поиска и маскирования личных данных
ai4privacy/pii-masking-400k
Сотни тысяч текстов на шести европейских языках для обучения моделей скрывать персональную информацию.
Что внутри
Внутри находится от 100 тысяч до 1 миллиона текстовых примеров на английском, французском, немецком, итальянском, испанском и нидерландском языках. Датасет предназначен для обучения и проверки моделей, которые находят и удаляют персональные и чувствительные данные (PII) из текстов, таблиц и резюме. В описании авторы также отмечают, что у проекта уже вышли более свежие версии на 1,4M и 1,6M примеров.
Что можно сделать
- Обучение моделей классификации токенов (NER) для анонимизации текстов
- Создание фильтров приватности перед отправкой данных в облачные LLM
- Задачи
- Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
- Языки
- Английский, Французский, Немецкий, Итальянский, Испанский, Нидерландский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 2 тыс.
- Лайков
- 64
Модели, обученные на нём
- iiiorg/piiranha-v1-detect-personal-informationРазметка токенов 229,2 тыс.
- OpenMed/privacy-filter-multilingual-v2Разметка токенов 116,2 тыс.
- OpenMed/privacy-filter-multilingualРазметка токенов 70,5 тыс.
- vllm-sr/mmbert32k-pii-detector-mergedРазметка токенов 641
- HuggingLil/pii-sensitive-ner-germanРазметка токенов 196
- OpenMed/privacy-filter-multilingual-v2-mlx-8bitРазметка токенов 76
- YATAV-ENT/aegis-personal-pii-nerРазметка токенов 60
- arthrod/gliner-opf-ptbr-pii-v1Разметка токенов 50
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai4privacy/pii-masking-400k")