gliner-pii-sq-en-uk
поиск и маскирование персональных данных в расшифровках звонков
2 мин чтенияобновлено
Модель извлекает и помогает скрывать конфиденциальную информацию в текстовых транскриптах телефонных разговоров на албанском, английском и украинском языках. Разработчик ak4hige дообучил базовую мультиязычную модель urchade/gliner_multi_pii-v1 (с энкодером mDeBERTa-v3-base) на 60 000 синтетических примеров. В отличие от оригинальной версии, этот вариант умеет находить продиктованные словами телефонные номера, а также албанские имена, даты и адреса.
Ключевые особенности
- Поддерживает 11 целевых категорий данных: телефоны, email, даты рождения, адреса, номера договоров, клиентов и серийные номера устройств.
- Распознаёт цифры и идентификаторы в том формате, в котором их записывают системы распознавания речи (ASR).
- Обучена на отрицательных примерах, чтобы не маскировать лишнее: суммы, IP-адреса, устные веб-адреса и названия должностей.
- Показывает метрику micro F1 0.93 и precision 0.94 на отложенной выборке при пороге 0.5.
Что можно сделать
- Встроить в пайплайн обработки записей колл-центров для автоматической анонимизации расшифровок перед сохранением или аналитикой.
- Использовать как этап предобработки после ASR-моделей, чтобы очищать украинские, английские или албанские диалоги от персональных данных перед передачей в LLM.
Пример
from gliner import GLiNER
model = GLiNER.from_pretrained("ak4hige/gliner-pii-sq-en-uk")
labels = ["phone number", "email address", "date of birth", "date", "street address",
"contract number", "customer number", "serial number", "person name", "location", "organisation"]
text = "Quhem Arben Hoxha, numri im është 069 223 456, banoj në Rrugën e Durrësit 45."
for e in model.predict_entities(text, labels, threshold=0.4):
print(e["text"], e["label"], round(e["score"], 2))
Подробнее
Метрики: micro F1 0.93, precision 0.94 на валидационном наборе (3000 примеров); на 39 рукописных предложениях после ASR найдено 29 из 31 сущности.Обучение: 1 эпоха на 60 000 предложений (60% албанский, 20% английский, 20% украинский), batch 8, focal loss.
Ограничения: длина спана до 12 токенов, не находит относительные даты («в прошлый понедельник»), в официальных текстах может избыточно размечать организации.
Совместимость: протестировано с
gliner 0.2.30 и transformers 4.x.









Комментарии