SatellaRedact-150M
лёгкий детектор персональных данных в тексте
2 мин чтенияобновлено
Компактная модель для поиска персональных данных (PII — имён, адресов, телефонов, номеров карт и документов) в англоязычных текстах. Разработчик EphAsad построил её на базе энкодера ModernBERT-base (149M параметров) от Answer.AI и дообучил на задачу NER (извлечения именованных сущностей). На выходе модель размечает токены по 39 BIO-меткам для 19 категорий данных, что позволяет автоматически маскировать конфиденциальную информацию без запуска тяжёлых LLM. Подойдёт разработчикам локальных пайплайнов обработки документов и исследователям приватности в NLP.
Ключевые особенности
- Распознаёт 19 типов данных: имена, фамилии, возраст, пол, адреса, индексы, телефоны, email, номера банковских карт, паспортов, водительских прав, налоговые и страховые номера.
- Работает как на GPU, так и на обычном CPU благодаря небольшому размеру (149M параметров) и формату Safetensors.
- Версия v1.4 дообучена на смеси из 41 000 примеров, включая синтетические сложные негативные кейсы (hard-negatives), что снизило ложные срабатывания с 4,96% до 0,47% по сравнению с v1.3.
- Открытая лицензия Apache 2.0 позволяет использовать веса в собственных проектах с указанием авторства.
Что можно сделать
- Встроить в локальный конвейер предварительной очистки документов перед отправкой текстов во внешние облачные LLM.
- Использовать для полуавтоматической разметки и анонимизации датасетов на английском языке с последующей проверкой человеком.
- Взять за лёгкий бейзлайн для сравнения эффективности компактных классификаторов токенов против крупных языковых моделей в задачах поиска PII.
Пример
from transformers import pipeline
detector = pipeline("token-classification", model="EphAsad/SatellaRedact-150M", aggregation_strategy="simple", device=-1)
text = "This fictional example refers to Alex Example in a demonstration record."
for item in detector(text):
print(item["entity_group"], item["start"], item["end"])
Подробнее
Метрики на валидации (2500 примеров): F1 — 95,39%, Precision — 94,83%, Recall — 95,96%.На полнотекстовом синтетическом тесте (670 документов, 570 сущностей) с кастомной постобработкой модель полностью закрыла 97,37% сущностей (555 из 570), Recall по символам — 98,96%.
Обучение v1.4 проходило 2 эпохи на 1× NVIDIA L4 (22 GiB VRAM) за 28 минут 45 секунд на данных OpenPII и синтетике.
Ограничения: только английский язык; модель носит исследовательский характер, не имеет сертификации GDPR и требует ручной проверки в критичных к приватности задачах.










Комментарии