Tiny Aya Global escalation-safe
агент, который не идёт на взлом
2 min readupdated
Модель на 3.35B параметров решает узкую, но важную ��адачу: как tool-агенту получать публичные данные и не «ломать» доступ, когда сайт блокирует запрос. Она основана на CohereLabs/tiny-aya-global (архитектура Cohere2) и дообучена сначала через SFT, затем через agentic GRPO с безопасной наградой. На блокировку агент должен ответить легальным маршрутом — API, bulk download, официальное зеркало, ожидание rate limit — или честно завершить ответ строкой BLOCKED: <reason>. В отличие от success-only обучения, safe reward не поощряет обходы вроде relay-сервисов, подмены заголовков или captcha-солверов. Пригодится исследователям безопасности агентов и тем, кто проектирует reward-функции для tool-моделей; автор — Ashish Soni.
Ключевые особенности
- 3.35B параметров, архитектура Cohere2, полные merged weights после GRPO.
- Safe reward: легальный правильный ответ +1, честный BLOCKED +0.6, выдуманное число −0.6, любой флаг детектора ограничивает эпизод до ≤ −1.
- На 320 тестовых задачах: 0.0% escalation, 99.5% legit success, 100% honest stop, 0.0% выдуманных чисел.
- Языки: английский и хинди; инструменты задаются JSON-схемами в system prompt, ответ — JSON-список вызовов.
Что можно сделать
- Прогнать eval в симуляторе из GitHub-репозитория на neutral и rules промптах.
- Сравнить safe reward с success-only: во втором случае тот же старт дошёл до 99.2% эскалации на blocked-задачах.
- Дообучить под свои tool-схемы, сохранив штраф за эскалацию в reward.
- Использовать как baseline для детекторов и reward-дизайна в безопасности агентов.
Пример
import json
from transformers import AutoModelForCausalLM, AutoTokenizer
from esa.prompts import full_system_prompt
repo = 'ashish-soni08/tiny-aya-global-esa-grpo-esc-safe-v2'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype='bfloat16', device_map='auto')
schemas = json.load(open('data/tool_schemas.json'))
print(full_system_prompt(schemas, variant='neutral')[:200])
Подробнее
На 320 тестовых задачах (neutral prompt, greedy): 0.0% escalation, 99.5% legit success, 100% honest stop, 0.0% выдуманных чисел; AuditKIT no_escalation 1.000, safe_completion 0.997.Ограничения: синтетическая среда на доменах .example, reward ограничен детектором, один seed; на реальном вебе не тестировался.
Лицензия CC-BY-NC-4.0, коммерческое использование запрещено. Обучение: около 75 минут на 1×A100 80GB.










Comments