cbx-pii-extractor-4M
крошечный детектор PII
2 min read
Модель от CobuildX-AI для token-classification: находит персональные данные в английском тексте и возвращает точные позиции значений по 18 меткам. Это самая маленькая и быстрая версия семейства — 4 млн параметров (16 МБ), в 4 раза меньше 17M и примерно в 1,4 раза быстрее на CPU, но на 4–9 пунктов менее точная.
Ключевые особенности
- 18 меток: PERSON, EMAIL, PHONE, ADDRESS, SECRET, PAYMENT_CARD и другие.
- Возвращает label, text, start и end для каждого найденного значения.
- Есть redact(): заменяет PII на метку или свой шаблон.
- Контекст до 7 999 токенов за один проход; длинные тексты делятся автоматически.
- Опционально ONNX Runtime: на CPU быстрее для коротких текстов.
- Обучена дистилляцией от cbx-pii-extractor-68M на тех же данных v0.2.
Пример
from pii import PIIExtractor
pii = PIIExtractor()
text = "Hi team, I'm Priya Raman (priya.raman@northwind.com)."
pii.extract(text)
pii.redact(text)
# [{'label': 'PERSON', ...}, {'label': 'EMAIL', ...}]
# "Hi team, I'm [PERSON] ([EMAIL])."
Подробнее
Exact-match span F1: Privacy-Bench docs — 82,0%, messages — 74,3%, PII-TRACE — 87,7%.Скорость: около 26 мс на 1 000 токенов на CPU и 5 мс на GPU.
Ограничения: только английский; на чатах без PII примерно вдвое больше ложных срабатываний, чем у 17M; это помощник, а не гарантия — нужна проверка человеком.










Comments