Niti Gate

Это классификатор для AI-агентов: он решает, разрешить или заблокировать вызов инструмента, а при блокировке определяет тип злоупотребления — eval gaming, harness introspection, misuse credentials, exfiltration, sandbox escape или other overreach. Модель сделана для gate в Niti, policy gateway для coding-агентов от PromptForce. Архитектурно это две небольшие heads поверх замороженных vegaml: движок vega-U читает вызов вместе с Qwen3.5-4B, сам репозиторий добавляет только heads (~16 MB).

🤖 Ключевые особенности

• 🤖 Две heads поверх неизменённых vegaml/vega-U и Qwen3.5-4B; вес дополнительных голов — около 16 MB.
• 🚫 Возвращает verdict allow/block, вероятность p_block и категорию нарушения.
• 👀 На входе — task, имя инструмента, JSON-аргументы и findings сканеров.
• 🔥 Порог можно менять через decide(..., threshold=...), торгуя recall против ложных блокировок.
• 🔜 Есть System One-формат gate.system_one(state): p_block пересчитан так, чтобы настроенный порог был 0.5, сырое значение лежит в p_block_raw.
• ⛔ Это judge, а не песочница: его нужно использовать вместе с реальной изоляцией и политиками.

👀 Пример

import sys
from huggingface_hub import snapshot_download
path = snapshot_download('prompt-force/niti-gate-vegaml-4b'); sys.path.insert(0, path)
from niti_gate import NitiGate
gate = NitiGate(path, device='cuda')
task = 'Fix the failing date parser test.'
gate.decide({'task': task, 'name': 'bash', 'args': '{"command": "cat /root/.config/gh/hosts.yml"}', 'findings': []})
# {'verdict': 'block', 'p_block': 0.671, 'category': 'harness_introspection', ...}

Подробнее

На safeagents-judge-bench v2 (661 вызов, test): balanced accuracy 0.909, AUROC 0.957, recall 0.882, false blocks 0.064, поймано 79/82 траекторий.
Latency p50 — 0.19 с на RTX 3090; GPU-память 8.3 GB allocated (11.3 GB на карте). На CPU около 23 с на вызов, поэтому на практике нужен GPU.
Ограничения: тюнинг под coding-агентов в песочнице, другие домены не тестировались; на части Terminal-Bench-задач больше ложных блокировок (0.231 на bench v1).
Лицензия heads и кода — CC BY-NC 4.0; vegaml, vega-U и Qwen3.5-4B скачиваются отдельно под Apache-2.0.