Valendra Privacy Filter Mini

Valendra Privacy Filter Mini — экспериментальная локально запускаемая модель token-classification от valendra для поиска потенциально чувствительных фрагментов в текстах на английском и испанском. Это полный файнтюн Qwen3-0.6B-Base с 41-label BIOES-головой; не text-generation. Опубликован step-4,000 checkpoint ранней mixed-data фазы — research snapshot, а не проверенная production-система приватности.

🔥 Ключевые особенности

• 👉 41-label BIOES: O плюс B-/I-/E-/S-варианты для PERSON, EMAIL, PHONE, ADDRESS, GOVERNMENT_ID, FINANCIAL_ID, SECRET, IP_ADDRESS, DATE_OF_BIRTH и URL.
• 👀 Поддержка английского и испанского; испанские окна в обучении повторялись четыре раза за эпоху.
• 💪 Полный файнтюн backbone и classification head; загрузка через Qwen3ForTokenClassification без trust_remote_code.
• 😐 FP32 Safetensors, около 2.38 GB на диске, без квантования.
• 🤫 Это не text-generation: character offsets и целые сущности нужно восстанавливать из токенов, возможны разрывы одной сущности на фрагменты разных типов.

👉 Пример

from transformers import AutoModelForTokenClassification, AutoTokenizer

model_id = 'valendra/privacy-filter-mini'
tok = AutoTokenizer.from_pretrained(model_id, use_fast=True)
model = AutoModelForTokenClassification.from_pretrained(
    model_id, use_safetensors=True, trust_remote_code=False
).eval()

Подробнее

Бенчмарки: test split — Untyped F1 0.852, Typed-common F1 0.801; challenge split — 0.620 и 0.564.
Веса FP32, ~2.38 GB на диске, без квантования; проверено с Transformers 4.55.4 и PyTorch 2.8.0.
Для длинных текстов нужны окна по 512 токенов с перекрытием 64; token/span scores не откалиброваны.
Ограничения: оба test split синтетические, всего по два чистых негативных документа; на challenge не было точных совпадений для 1 982 address и 2 478 IP address аннотаций.