Thaki-PII-NER-KoEn-v2-Preview

Thaki-PII-NER-KoEn-v2-Preview — исследовательский токен-классификатор от ThakiCloud на базе mmBERT-base (307M параметров, 35 BIO-меток). Он размечает спаны персональных данных и названий организаций в корейском и английском тексте.

💪 Ключевые особенности

• 👀 Токен-классификатор на mmBERT-base, 307M параметров, 35 BIO-меток.
• 💳 Ищет 17 типов сущностей: AGE, BANK_ACCOUNT, CREDIT_CARD, DATE_OF_BIRTH, DATE_TIME, EMAIL, ID_NUMBER, IP, LOCATION, NRP, ORG, PERSON, PERSONAL_ATTRIBUTE, PHONE, URL, USERNAME, VEHICLE.
• 🐾 Языки: корейский и английский; ORG по умолчанию не маскируется.
• 💪 В комплекте wrapper с detect() и redact(); токенизатор надо отдельно грузить из jhu-clsp/mmBERT-base на закреплённой ревизии.
• 😐 Research Preview: RELEASE_HOLD, не для продакшена; независимая корейская оценка INCONCLUSIVE.

👉 Пример

from huggingface_hub import snapshot_download
import sys
path = snapshot_download('ThakiCloud/Thaki-PII-NER-KoEn-v2-Preview')
sys.path.insert(0, path)
from thaki_pii_ner import ThakiPIINER
m = ThakiPIINER(path)
print(m.detect('Kim Minsu from Seoul paid with card 4111 1111 1111 1111 yesterday.'))

Подробнее

Strict span F1: KO PII common 8 — 0.9911, EN PII Nemotron — 0.9749, EN ORG на WNUT-17 — 0.4037.
CPU: p50 около 100 мс на документ на 8 общих потоках, peak RSS 2 222 МБ; 307M параметров, fp32.
Ограничения: RELEASE_HOLD, корейская независимая оценка INCONCLUSIVE, ORG только для ревью, секреты вне области, не гарантия приватности.