Minimal by Training Adapter
защита от лишних данных при вызове инструментов
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для компактной LLM CohereLabs/tiny-aya-global размером 3.35B от автора Mango-1864. Адаптер учит ИИ-агента передавать в аргументы вызываемых инструментов (tool-calling) только те поля, которые реально нужны для задачи, отбрасывая лишние персональные данные вроде адресов и номеров телефонов. Проект создан в рамках хакатона Lexsi AI Safety and Alignment Hackathon (Track 3) и демонстрирует, что дообучение работает надёжнее простых запретов в системном промпте. Модель пригодится исследователям безопасности ИИ и разработчикам агентов, которые изучают принцип минимизации данных.
Ключевые особенности
- Снижает долю утечек лишних персональных данных на знакомых инструментах с 24.5% до 3.0% (по оценке AuditKIT на синтетических профилях).
- Повышает показатель «чистого выполнения» (задача решена без передачи лишних полей) с 67.0% до 90.5% на test_id и с 72.0% до 88.0% на двух новых инструментах (test_ood).
- Показывает преимущество файнтюнинга перед промпт-инжинирингом: в эксперименте добавление правила о приватности в промпт только ухудшило ситуацию (утечки выросли до 42.5%).
- Обучен с помощью AgentTune (PEFT) на 600 синтетических примерах с нулевой долей утечек всего за 27 минут на одной GPU L4.
Что можно сделать
- Протестировать подход к минимизации данных в прототипах tool-calling агентов на базе Tiny Aya Global.
- Использовать адаптер как бейзлайн для собственных экспериментов по выравниванию (alignment) и приватности ИИ-агентов.
- Сравнить поведение модели с базовой версией на собственных наборах инструментов через библиотеки
transformersиpeft.
Пример
import torch
from transformers import AutoTokenizer
from peft import AutoPeftModelForCausalLM
adapter = "Mango-1864/minimal-by-training-adapter"
tok = AutoTokenizer.from_pretrained(adapter)
model = AutoPeftModelForCausalLM.from_pretrained(adapter, dtype=torch.bfloat16, device_map="cuda").merge_and_unload()
model.generation_config.eos_token_id = [tok.convert_tokens_to_ids(""), tok.convert_tokens_to_ids("<|END_OF_TURN_TOKEN|>")]
Подробнее
Метрики: clean success 90.5% (test_id) и 88.0% (test_ood), leak rate 3.0% и 5.0% (на новых инструментах точность выбора инструмента снизилась с 99% до 95%).Обучение: LoRA (r=16, alpha=32, dropout 0.05) на модулях q/k/v/o_proj, 3 эпохи, max length 1536, Colab L4.
Ограничения: исследовательский артефакт на синтетических данных (9 обучающих + 2 тестовых инструмента), не гарантирует реальную защиту данных.
Доступ и лицензия: базовая модель gated (нужно принять условия на HF), лицензия CC-BY-NC-4.0 (только для некоммерческого использования).










Комментарии