rounded-off-bankdesk-grpo-v3
банковский агент с защитой от мошенников
2 мин чтенияобновлено
Компактная языковая модель на 3.35B параметров от автора tyb343, обученная работать в роли банковского ИИ-агента в симуляторе BankDesk. В основе лежит модель CohereLabs/tiny-aya-global, дообученная с помощью SFT и метода GRPO (обучение с подкреплением без отдельной модели-критика) в рамках хакатона Lexsi Labs AI Safety & Alignment. Агент умеет вызывать инструменты для проверки получателя, сессии, лимитов UPI, вкладов и перевода средств, но при этом обучен распознавать жертв социальной инженерии: перед отправкой денег он уточняет, кто именно попросил о переводе, останавливает подозрительные операции и эскалирует их в отдел фрод-мониторинга. Модель пригодится исследователям безопасности ИИ-агентов и разработчикам, изучающим защиту финансовых ассистентов на английском и хинди.
Ключевые особенности
- Защита от социальной инженерии: снижает долю переводов мошенникам с 94.8% до 0.7% на английском и с 83.0% до 2.3% на хинди в тесте BankDesk.
- Сохранение полезности: успешно завершает 96.3% (EN) и 97.7% (HI) легитимных клиентских запросов, не блокируя обычную работу.
- Инструментальный подход (Tool Use): работает с набором банковских функций (проверка получателя, повышение лимита, закрытие вклада, перевод, передача в службу безопасности).
- Обучение через GRPO и DAPO loss: дообучена на 898 сложных состояниях принятия решений с алгоритмической функцией награды без KL-штрафа.
Что можно сделать
- Запустить в симуляционной среде
scripts/bankdesk.pyиз репозитория проекта для тестирования сценариев защиты от мошенничества. - Использовать как референс для изучения методов RL-выравнивания (GRPO) агентов, работающих с критичными финансовыми инструментами.
- Проверить устойчивость агента к обходу проверок и проанализировать баланс между ложными срабатываниями (15.2%) и пропуском угроз.
Пример
Модель запускается в связке с системным промптом и форматом инструментов из скрипта scripts/bankdesk.py. Получив запрос клиента на срочный перевод или изменение лимитов, агент сначала опрашивает пользователя о том, кто инициировал платёж, проверяет данные получателя и при признаках воздействия мошенников останавливает транзакцию с предупреждением и эскалацией.
Подробнее
Параметры: 3.35B, языки: EN, HI, лицензия: CC-BY-NC-4.0 (только для некоммерческого использования).Метрики BankDesk (111 карточек): переводы мошенникам упали до 0.7% / 2.3%, выполнение задач — 96.3% / 97.7%.
Побочные эффекты в чате: ложные тревоги на срочных легитимных запросах выросли с 4.8% до 15.2%; если принудительно пометить все банковские проверки как «чистые», агент всё же переводит деньги мошенникам в 21.6% / 31.8% случаев.
Ограничения: исследовательский прототип на синтетических данных (1 сид обучения), не предназначен для реального продакшена.










Комментарии