К содержимому

Датасет · ai4privacy

Многоязычный корпус для поиска и маскирования личных данных

ai4privacy/pii-masking-400k

Сотни тысяч текстов на шести европейских языках для обучения моделей скрывать персональную информацию.

Что внутри

Внутри находится от 100 тысяч до 1 миллиона текстовых примеров на английском, французском, немецком, итальянском, испанском и нидерландском языках. Датасет предназначен для обучения и проверки моделей, которые находят и удаляют персональные и чувствительные данные (PII) из текстов, таблиц и резюме. В описании авторы также отмечают, что у проекта уже вышли более свежие версии на 1,4M и 1,6M примеров.

Что можно сделать

  • Обучение моделей классификации токенов (NER) для анонимизации текстов
  • Создание фильтров приватности перед отправкой данных в облачные LLM
Задачи
Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
Языки
Английский, Французский, Немецкий, Итальянский, Испанский, Нидерландский
Размер
100K–1M записей
Скачиваний за месяц
2 тыс.
Лайков
64

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ai4privacy/pii-masking-400k")