injection_classifier_eth
защита от prompt-инъекций в чеках и инвойсах
2 мин чтенияобновлено
Классификатор текста (0.31B параметров) проверяет распознанные через OCR (оптическое распознавание символов) счета, квитанции и платёжные документы до того, как их прочитает основная LLM. Модель построена на базе Horizon-Labs/prompt-injection-guard-base и возвращает вероятность атаки P(injection), разделяя входные данные на классы SAFE и INJECTION. В отличие от общих фильтров безопасности, она дообучена на специфических атаках в финансовых и крипто-документах: подмене адресов кошельков, скрытых инструкциях и перехвате формата вывода. Подойдёт разработчикам автономных агентов и пайплайнов автоматической обработки счетов и выплат.
Ключевые особенности
- Специализация на OCR-тексте: анализирует до 40 последовательных строк документа после очистки невидимых символов и замены адресов кошельков (включая искажённые при распознавании) на токен
[wallet]. - Защита от новых векторов атак: версия v3.3 обучена на 36 190 примерах, включая синтетические крипто-инвойсы, зарплатные ведомости, реальные сканы Tesseract и атаки на разных языках.
- Компактный размер: веса хранятся в формате float16 и занимают всего 0.62 ГБ без потери точности при загрузке в float32 (максимальное отклонение скора — 0.009).
- Высокая точность перехвата: на независимом тестовом наборе блокирует 99.5% атакованных документов, при этом подмена адреса злоумышленника не дошла до модели-читателя в 0.0% случаев.
Что можно сделать
- Защитить AI-бухгалтерию и крипто-агентов: встроить модель как префильтр перед подачей распознанных счетов и актов в LLM, чтобы злоумышленник не мог подменить реквизиты оплаты через скрытый текст в документе.
- Фильтровать веб-страницы и ведомости: использовать в автоматических пайплайнах парсинга платёжных данных (по аналогии с пайплайном EthereumFoundation, для которого создана модель).
Пример
# Установка и проверка весов по SHA-256 через штатный скрипт пайплайна
uv run python -m pipeline.injection.download
# Вход: до 40 строк OCR с маскировкой кошельков ([wallet])
# Выход: вероятность атаки P(injection), порог срабатывания 0.5, блокировка — 0.58
Подробнее
Метрики: Validation AUC 0.9999; на отложенном сете заблокировано 99.5% из 1 346 атак (6.7% ложных срабатываний на 1 972 чистых документах), на новом сете свежих формулировок — 99.2% из 131 атаки.Железо: 0.31B параметров, вес файла 0.62 ГБ (float16), максимальная длина контекста 1 024 токена.
Ограничения: вероятности не откалиброваны; на реальных сканах Tesseract выросло число ложных срабатываний на легитимных платёжных строках (16 из 100); строки, не верифицированные OCR, не оцениваются.










Комментарии