GLiNER Russian PII
поиск персональных данных в русских текстах
2 мин чтенияобновлено
Модель для обнаружения персональных данных (PII) и чувствительных сущностей в русскоязычных документах. Она построена на базе urchade/gliner_multi (архитектура mdeberta-v3-base) с подходом zero-shot NER (распознавание именованных сущностей по заданным текстовым меткам без переобучения под каждый класс). В отличие от жёстких регулярных выражений, нейросеть хорошо находит контекстные данные вроде ФИО, адресов, организаций, профессий, возраста и денежных сумм. Пригодится разработчикам, которым нужна анонимизация логов, переписок и баз данных перед передачей в сторонние LLM или аналитику.
Ключевые особенности
- 13 категорий сущностей: ищет
person,organization,location,profession,age,date,money,group code,phone,email,url,passportиdoc number. - Обучение на синтетике: дообучена на ~1900 сгенерированных примерах с типичными российскими форматами (ФИО, СНИЛС, ИНН, ОМС, водительские права, военные билеты), включая опечатки и разные разделители, без использования реальных ПДн.
- Открытая лицензия MIT: как сама модель, так и базовая
urchade/gliner_multiразрешены для свободного коммерческого использования.
Что можно сделать
- Собрать пайплайн анонимизации: использовать модель в связке с регулярными выражениями и библиотекой Natasha для маскирования ФИО, адресов и реквизитов в клиентских обращениях.
- Фильтровать документы перед индексацией: проверять загружаемые пользователями тексты и анкеты на наличие паспортов, телефонов и номеров документов в корпоративных сервисах.
Пример
from gliner import GLiNER
model = GLiNER.from_pretrained("Sanorian/gliner-ru-pii")
labels = ["person", "doc number", "phone", "email"]
ents = model.predict_entities("Иванов Иван, снилс 123-456-789 00", labels, threshold=0.45)
for e in ents:
print(e["text"], e["label"], round(e["score"], 2))
Подробнее
Бенчмарк: в составе гибридного пайплайна (regex + GLiNER + Natasha) на датасете redmadrobot-rnd/pii_benchmark (2703 текста) общий overlap F1 составил 0.88 (email — 0.99, url — 0.98, oms — 0.93, doc_number — 0.88, card — 0.88, inn — 0.86, snils — 0.86).Ограничение: на строго структурированных полях (телефоны, СНИЛС, ИНН) модель может галлюцинировать и путать метки (например, принять слово «СНИЛС» за url), поэтому автор рекомендует дополнительно проверять формат найденных спанов через regex.










Комментарии