pii-masker-qwen3-4b-lora
маскирование ПДн и роутинг тикетов
2 min readupdated
QLoRA-адаптер (лёгкая надстройка над базовой моделью с 4-битным квантованием), который превращает языковую модель Qwen3-4B-Instruct-2507 от Zain9989 в инструмент для корпоративной обработки обращений. Модель одновременно скрывает персональные данные (PII — личную информацию вроде имён или контактов) и распределяет заявки по категориям. На выходе она выдаёт строгий JSON с четырьмя полями: очищенный текст (masked_text), типы найденных данных (detected_pii_types), категорию тикета (ticket_category) и уровень срочности (urgency_level). Решение подойдёт разработчикам систем поддержки и корпоративных ботов, которым нужно безопасно обезличивать входящие запросы.
Ключевые особенности
- Строгий формат ответа: модель обучена возвращать валидный JSON без лишнего текста, что упрощает парсинг в продакшене.
- Лёгкость и доступность: адаптер построен на компактной 4B-модели и загружается в 4-битном режиме с помощью библиотеки Unsloth.
- Двойная функция за один проход: совмещает поиск персональных данных и классификацию обращения по теме и срочности.
- Наличие GGUF-версии: автор также подготовил квантованный вариант для локального запуска через Ollama или llama.cpp.
Что можно сделать
- Предварительная фильтрация в хелпдеске: пропускать входящие тикеты через модель перед отправкой оператору или во внешние облачные LLM, чтобы скрыть чувствительные данные клиентов.
- Автоматическая маршрутизация заявок: использовать поля
ticket_categoryиurgency_levelв чат-ботах или CRM для мгновенного распределения обращений по отделам и приоритетам. - Обезличивание логов: очищать текстовые базы обращений перед аналитикой или дообучением других моделей на реальных диалогах.
Пример
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
"Zain9989/pii-masker-qwen3-4b-lora",
max_seq_length=1024,
load_in_4bit=True,
)
FastLanguageModel.for_inference(model)Подробнее
Базовая модель: unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit (LoRA r=16, alpha=32).Обучение: 2 эпохи (850 шагов) на 3400 примерах из датасета Zain9989/enterprise-pii-ticket-sft на GPU Tesla T4 (пик VRAM — 4.05 ГБ).
Метрики: best_eval_loss — 0.0036; на smoke-тесте из 20 примеров валидность JSON-схемы и точность категории составили 20/20.
Ограничение: для корректной работы необходимо строго использовать системный промпт из файла
prompt_config.json в репозитории.









Comments