PII Token Classifier DE/EN
персональные данные в коде и логах
2 мин чтенияобновлено
Модель размечает в тексте персональные данные — в первую очередь имена людей — и заточена под смешанные материалы, где проза соседствует с исходным кодом, логами и документацией. Это дообученная версия bardsai/eu-pii-anonimization-multilang на 0,28 млрд параметров: архитектура, токенизатор и набор меток остались прежними, но верхние 6 из 12 слоёв энкодера и классификатор подстроены на примерно 10 800 коротких примеров. Главное отличие — меньше ложных срабатываний на именах инструментов, идентификаторах и датах в коде. Пригодится разработчикам и командам, которые обезличивают немецко- и англоязычные логи, тикеты и документы.
Ключевые особенности
- Ищет персональные данные: прежде всего имена людей, а также адреса, локации и даты рождения.
- Дообучен на смеси кода, логов и документации, чтобы не принимать имена инструментов, идентификаторы и даты за персональные данные.
- Основа — bardsai/eu-pii-anonimization-multilang; эмбеддинги и нижние 6 из 12 слоёв энкодера заморожены, дообучены верхние 6 слоёв и классификатор.
- В карточке заявлено 34 типа меток в BIO-формате, включая PERSON_NAME, POSTAL_ADDRESS, LOCATION, DATE_OF_BIRTH, EMAIL_ADDRESS, PHONE_NUMBER и HEALTH_DATA; дообучение и оценка касались только PERSON_NAME, LOCATION и DATE_OF_BIRTH.
- Читает до 512 токенов за раз; длинный текст нужно резать на перекрывающиеся окна.
Что можно сделать
- Прогонять логи, тикеты и фрагменты кода перед отправкой во внешние сервисы, чтобы вручную проверить найденные имена.
- Встроить в пайплайн обезличивания German/English документов как один из слоёв проверки, а телефоны, e-mail и IBAN дополнительно ловить регулярками.
- Сравнить с базовой моделью на своём проекте: в карточке на незнакомом Python-коде число ложных срабатываний снизилось с 60 до 19.
Пример
from transformers import pipeline
pipe = pipeline("token-classification", model="TSchachi/pii-token-classifier-de-en-code", aggregation_strategy="simple")
text = "Rücksprache mit Dr. Huber wegen der Entlassung am Montag."
for entity in pipe(text):
print(entity["entity_group"], entity["start"], entity["end"], round(float(entity["score"]), 2))
Подробнее
Скорость на Apple Silicon CPU: около 0,08 с на 1 КБ текста; память после загрузки — 1,2 ГБ, пик — 1,8 ГБ.На незнакомом Python-коде модель отметила 19 фрагментов против 60 у базовой; на GermEval 2014 нашла 1543 имени из 1639, ложных отметок — 137 против 172.
Ограничения: оценка только для имён в немецком и английском; другие 24 языка и нетренированные метки не измерялись. На немецких наборах с ручной разметкой пропускает примерно 4–7 имён из 100. Короткий ввод без контекста ненадёжен. Телефоны, e-mail и IBAN в замерах находили регулярки, а не модель. На Apple Silicon MPS память аллокатора росла с 1,8 до 9,7 ГБ за 1000 сканов; на CPU роста не было.










Комментарии