alien-manual-sft-seed1-hardness0
адаптер для следования нестандартной документации
2 мин чтенияобновлено
alien-manual-sft-seed1-hardness0 — это LoRA (небольшая надстройка над базовой моделью) для языковой модели CohereLabs/tiny-aya-global от автора ignAtom. Адаптер обучен методом SFT (контролируемого дообучения) на синтетической задаче Alien Manual: в ней документация программного инструмента прямо говорит, что он работает вопреки своему привычному названию, а нейросеть должна опираться на текст справки, а не на заученные шаблоны. На тестовом наборе адаптер снижает долю ошибок «по привычке» (Prior-trap rate) с 56.3% у базовой модели до 3.2%. Разработка пригодится исследователям ИИ-агентов и разработчикам, изучающим, как заставить модели строго соблюдать инструкции при вызове внешних функций (tool calling).
Ключевые особенности
- Борьба с предвзятостью к названиям: приучает модель верить описанию функции, даже если её имя намекает на противоположное действие.
- Рост точности вызовов: показатель Tool-call F1 на отложенном наборе инструментов вырос с 52.0% до 94.5%, а для обычных функций без подвоха достиг 100.0%.
- Фиксированный формат подсказок: адаптер обучен и протестирован на документах уровня сложности
hardness-0, где нестандартное поведение прямо выделено строкойNote:. - Компактный формат PEFT: репозиторий содержит только веса LoRA-адаптера без дублирования основной модели
tiny-aya-global.
Что можно сделать
- Тестирование надёжности агентов: проверить, насколько устойчиво языковая модель следует нестандартным API-спецификациям при вызове функций.
- Сравнение формулировок промптов: сопоставить работу адаптера на простых пометках
Note:(hardness-0) с более завуалированными описаниями из соседнего вариантаhardness1. - Эксперименты с синтетическими данными: воспроизвести бенчмарк Alien Manual на собственных наборах вымышленных инструментов с перевёрнутыми аргументами или нестандартными единицами измерения.
Пример
В сценарии Alien Manual модели передаётся документация вымышленного инструмента с пометкой Note: — например, о том, что порядок аргументов перевёрнут или операция инвертирована. Вместо вызова функции по привычному смыслу её названия адаптер формирует вызов строго по правилам из примечания.
Подробнее
Метрики (200 примеров): Prior-trap rate — 3.2% (против 56.3% у базы и 54.4% с промптом), Tool-call F1 — 94.5%, валидность вызовов — 98.5%.Ограничения: обучение и тесты проводились на синтетических инструментах с 4 типами подвохов (перевёрнутые аргументы, обратная операция, странная единица измерения, переименованный инструмент).
Модель не проверялась на реальных API и других бенчмарках; для запуска требуется доступ к закрытой базовой модели
CohereLabs/tiny-aya-global (лицензия CC-BY-NC-4.0).









Комментарии