sixmonth-redact
обезличивает медицинские и стоматологические заметки на CPU
2 min readupdated
Модель берёт текст клинической или стоматологической заметки и возвращает его же, но с вырезанными персональными идентификаторами: именами, датами, контактами, номерами карт и адресами. Работает с английским, французским и ливанским арабским латиницей (Arabizi), включая стоматологические записи. Это компактный char-level token classifier на 5,8 млн параметров, который запускается только на CPU, примерно за 0,2 секунды на заметку и офлайн. В отличие от крупных PII-моделей, он почти не скрывает лишнего в чистом клиническом тексте, но это бета-инструмент для первого прохода, а не замена проверке человеком.
Ключевые особенности
- Удаляет идентификаторы HIPAA Safe Harbor по шести меткам: NAME, DATE, CONTACT, ID, LOCATION и AGE старше 89 лет.
- Сохраняет клиническое содержимое: дозы, номера зубов, лабораторные значения и коды.
- Поддерживает английский, французский и Arabizi; есть режимы typed, keep_dates и spans.
- Всего 5,8 млн параметров, работа на CPU и офлайн, около 0,2 с на заметку.
- На Nemotron-PII ловит 98,3% идентификаторов при 0,34% ошибочно скрытого чистого текста; на клинических заметках — 95,0% при 3,33%.
Что можно сделать
- Поставить первым проходом в локальный пайплайн обезличивания перед передачей заметок на ревью или в исследование.
- Пакетно чистить стоматологические заметки, не теряя номера зубов и назначения.
- Встроить model.redact или model.spans в Python-сервис, а scrub.py использовать для быстрой проверки из командной строки.
Пример
from transformers import AutoModel
model = AutoModel.from_pretrained("sixmonth-ai/sixmonth-redact", trust_remote_code=True)
text = "Called Mrs Johnson re: appt on March 3rd. Policy no. BC-44817203."
print(model.redact(text))
# 'Called Mrs [REDACTED] re: appt on [REDACTED]. Policy no. [REDACTED].'
Подробнее
Бенчмарки: Nemotron-PII — 98,3% пойманных идентификаторов при 0,34% ошибочно скрытого чистого текста; клинические заметки — 95,0% и 3,33%.С опечатками: 93,8% и 83,0% соответственно.
Требования: только CPU, около 0,2 с на заметку; 5,8 млн параметров.
Ограничения: бета; примерно в 1 из 5 клинических заметок остаётся идентификатор (1 из 2 с опечатками), нужна проверка человеком; это не полноценная HIPAA-деидентификация; другие языки не тестировались.
Лицензия GPL-3.0; веса не подгонялись на пациентских заметках.










Comments