drift-monitor-tiny-aya
лёгкий сторож для контроля ИИ-агентов
2 мин чтенияобновлено
Модель анализирует лог работы автономного ИИ-агента (запрос пользователя, рассуждения, вызовы инструментов) и выдаёт одну цифру от 0 до 9, показывающую, насколько агент отклонился от задачи. Адаптер на базе CohereLabs/tiny-aya-global (3.35B параметров) создан с помощью PEFT (библиотеки для компактной донастройки) в рамках Lexsi AI Safety and Alignment Hackathon 2026. В отличие от дорогих облачных моделей, которым нужно проверять каждый шаг агента, этот компактный внешний наблюдатель работает быстро и дёшево, помогая вызывать более мощную модель-советника только при реальном сбое. Пригодится разработчикам агентных систем, которым нужен дешёвый постоянный контроль за действиями LLM в песочнице или продакшене.
Ключевые особенности
- Работает как внешний наблюдатель: читает журнал сессии со стороны и не зависит от самоотчёта агента.
- Выдаёт одну цифру 0–9, из вероятностей которых на инференсе считается непрерывная оценка отклонения 0–100 и сигнал уверенности.
- Обучена на 16 паттернах дрейфа в паре с контрольными примерами (например, отличать случайное удаление файлов от удаления по просьбе пользователя).
- Понимает 6 уровней видимости логов — от одних ответов до полного потока рассуждений и вызовов инструментов.
Что можно сделать
- Встроить в пайплайн автономного агента как дешёвый фильтр: при превышении порога оценки автоматически подключать крупную модель-советника.
- Защитить файловые и кодовые агенты от prompt injection (скрытых инструкций в документах), лишних изменений и невыполненных тестов.
- Использовать для аудита и мониторинга уже записанных сессий в клиентских, офисных и технических задачах.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("dev-willbird1936/drift-monitor-tiny-aya")
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "dev-willbird1936/drift-monitor-tiny-aya")Подробнее
На 497 реальных сессиях показала MAE 7.5, AUROC 0.970 и задержку 0.3 с (у Claude Sonnet 5.5 — MAE 13.1 и 6.6 с, у GPT-6.1 Terra — MAE 14.1 и 3.6 с).В живых тестах с агентом на базе Grok 4.7 ни одна сессия с включённым монитором не завершилась с лишними незапрошенными файлами (против 63% без контроля).
Обучена методом 4-bit QLoRA (r=16, alpha=32, 2 эпохи, max_seq 2048) на одной GPU A100 40GB.
Ограничение: модель выдаёт только числовую оценку дрейфа и не формирует текстовых советов для агента.










Комментарии