OEG PII RU Lite

OEG PII RU Lite — облегчённая preview-версия модели OEG для обезличивания русского текста. Дообучена от redmadrobot-rnd/rubert-base-pii-ner (ruBERT-base, 178M параметров) и находит персональные данные в расшифровках звонков и неформатированных чатах, заменяя их обратимыми метками. Это ранняя версия 0.1.0: ограничения важно прочитать до использования.

🔥 Ключевые особенности

• 👉 28 типов PII: 21 тип унаследован от базовой модели, 7 новых — DATE_OF_BIRTH, TG_NICK, MAX_NICK, BANK_ACCOUNT, CORR_ACCOUNT, BIK и KPP.
• 🐾 Находит данные в расшифровках звонков с цифрами словами и без пунктуации, а также в неформатированных переписках.
• 💪 Заменяет найденное обратимыми метками вида [ТЕЛЕФОН_1]; таблица mapping с настоящими значениями остаётся у вас.
• 💸 Лёгкая модель на 178M параметров, лицензия Apache 2.0, как у базы.
• 🥲 Preview: больше ложных срабатываний, чем у базы, и есть пропуски по реквизитам — подробности ниже.

👉 Пример

# pip install torch transformers
from oeg_pii_mask import PiiMasker

masker = PiiMasker("oegtech/oeg-pii-ru-lite")
masked, mapping = masker.mask("алло это ирина соколова телефон восемь девятьсот шестнадцать пятьсот пятьдесят пять двенадцать тридцать четыре")
print(masked)
print(masker.restore(masked, mapping))

Подробнее

Бенчмарки: pii_benchmark, имитация звонка — найдено 95,79% против 42,41% у базы; обычный текст — 96,96% найдено / 96,09% точности.
Ручной тест OEG: 88,24% найдено, 96,77% точности.
Ограничения: БИК, КПП и к/сч с заглавными подсказками часто пропускаются; ники без подсказки и год рождения тоже.
На реальных расшифровках с ошибками ASR качество не измерялось; ложных срабатываний больше, чем у базы (56 из 371 предложений без PII против 13).
Модель не гарантирует полное обезличивание и сама по себе не обеспечивает соответствие 152-ФЗ.