Bhed-v0.1
анонимизация персональных данных в юридических и налоговых текстах
2 min readupdated
Bhed-v0.1 от MindMapDigital — специализированная модель и одноимённый Python-пакет для автоматического скрытия PII (персональных данных) в текстах на английском, испанском и хинди/хинглиш. На вход подаётся пользовательский запрос, а на выходе возвращается исходная строка, где имена, счета, телефоны и налоговые идентификаторы заменены на типизированные теги вроде [PER_1] или [TAX_ID_1]. В отличие от универсальных LLM вроде Llama 3.2 или Qwen2.5, решение использует детерминированную постобработку с проверкой на утечки и гарантирует 100% сохранение исходных формулировок вне тегов. Пригодится разработчикам юридических и финансовых ботов, которым нужно безопасно обезличивать запросы клиентов перед отправкой во внешние сервисы.
Ключевые особенности
- Поддержка трёх языков: английского, испанского и хинди / хинглиш.
- Распознавание 21 типа сущностей (имена, организации, адреса, банковские счета, карты, номера телефонов, ИНН, медицинские и другие данные) при сохранении названий стран, госорганов, статей законов и налоговых ставок.
- Встроенный пайплайн в пакете
bhed: фиксированный промпт без ручной сборки шаблонов, greedy-декодирование, regex-подстраховка для пропущенных идентификаторов и финальная проверка на утечки (флагblocked). - Возможность получить как готовый очищенный текст через
redact(), так и словарь сопоставлений с позициями сущностей черезanalyze().
Что можно сделать
- Встроить перед отправкой запросов в облачные LLM в юридических или бухгалтерских ассистентах, чтобы скрыть данные клиентов (имена, счета, номера паспортов) с возможностью последующей обратной подстановки по словарю
mapping. - Использовать как CLI-утилиту
bhedв скриптах обработки клиентских обращений или выгрузки логов с выводом результата в JSON.
Пример
from bhed import Bhed
model = Bhed.from_pretrained("MindMapDigital/Bhed-v0.1")
print(model.redact("I'm Dana Brooks, account 4470912233, phone +1 415 555 0199."))
# I'm [PER_1], account [BANK_ACCOUNT_1], phone [PHONE_1].Подробнее
Бенчмарки (28 запросов): Strict F1 — 0.966, уровень утечек — 4.0%, точное прохождение — 24/28 (против F1 0.474 у Llama 3.2 3B Instruct и 0.460 у Qwen2.5 1.5B Instruct).Мультиязычный бенчмарк (ES / EN / HI): Strict F1 — 0.986 (8/9 точных прохождений).
Железо и требования: Python 3.10+, рекомендуема видеокарта с CUDA (
bfloat16 / float16), возможен запуск на CPU в float32; файлы пакета занимают ~120 МБ (базовые веса докачиваются при первом запуске).









Comments