LatentSpace Tiny Aya Transit Agent (GRPO-KL Audit v2)
агент для транспорта с защитой от взлома наград
2 мин чтенияобновлено
Это PEFT-адаптер (лёгкая надстройка для дообучения языковых моделей), превращающий компактную мультиязычную модель CohereLabs/tiny-aya-global в ИИ-агента для работы с транспортными запросами и вызовом внешних инструментов. Модель создана в рамках хакатона Lexsi AI Safety & Alignment (проект LatentSpace) и решает задачу проектирования функций вознаграждения, устойчивых к reward hacking (ситуации, когда модель находит лазейки в оценке вместо честного выполнения задачи). В отличие от стандартного обучения с подкреплением, здесь используется метод GRPO с KL-якорем к дистиллированной модели и функцией аудита v2, что сохраняет способность агента корректно вызывать нужные функции. Разработка пригодится исследователям безопасности ИИ и разработчикам локальных агентов, работающих с английским, хинди и маратхи.
Ключевые особенности
- Поддерживает мультиязычную работу на английском, хинди и маратхи на базе CohereLabs/tiny-aya-global.
- Сохраняет компетентность вызова инструментов: метрика needs-a-call success достигает 0.423 (+0.40 по сравнению со стандартной наградой при p=0.0001).
- Обучен методом GRPO (Group Relative Policy Optimization) с KL-привязкой к предварительно дистиллированной студенческой модели.
- Требует двухэтапного подключения через библиотеку PEFT: сначала в базовую модель вливается дистиллированный адаптер, а поверх него загружается текущая версия.
Что можно сделать
- Протестировать устойчивость ИИ-агентов к reward hacking на синтетических сценариях поиска и бронирования транспорта в Индии.
- Использовать модель как эталон для изучения связки дистилляции и GRPO при обучении компактных моделей вызывать внешние API.
- Интегрировать в локальные исследовательские стенды с системным промптом
transit_agent.SYSTEM_PROMPTи резервным промптом инструментов из репозитория AgentTune.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
model = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "kanishk001/latentspace-tiny-aya-transit-distill").merge_and_unload()
model = PeftModel.from_pretrained(model, "kanishk001/latentspace-tiny-aya-transit-grpo-kl-audit-v2")
Подробнее
Метрика needs-a-call success: 0.423 (+0.40 относительно базовой награды, p=0.0001).Ограничение: обучена на синтетических данных индийского транспорта — не предназначена для реального бронирования.
Детали генерации: необходимо останавливать генерацию по токену
<|END_RESPONSE|> в дополнение к стандартному EOS-токену модели.Код, системные промпты и описание исследования доступны в репозитории kushwaha001/LatentSpace.










Комментарии