What They Meant (GRPO)
экспериментальный платёжный агент на Tiny Aya Global
2 min readupdated
Это исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью) для компактной языковой модели Cohere Labs Tiny Aya Global (3.35B) от автора sharan-nagarajan. Модель учится работать платёжным агентом: если запрос пользователя противоречит его реальному намерению, агент должен задать один уточняющий вопрос с указанием на нестыковку, а в обычной ситуации — показать карточку подтверждения платежа. В репозитории объединены два этапа обучения (M1 + M2) в один адаптер ранга 32. В отличие от базовой модели, версия после SFT (контролируемого дообучения) научилась проверять записи и предлагать карточки подтверждения вместо прямой оплаты, но этап GRPO (обучение с подкреплением) сместил её в сторону лишних вопросов на любых запросах. Модель предназначена для исследователей, изучающих поведение небольших LLM в агентских сценариях и устойчивость к неоднозначным инструкциям.
Ключевые особенности
- Объединённый LoRA-адаптер: веса этапов M1 (SFT) и M2 (GRPO) сведены в единую LoRA ранга 32 поверх базы Tiny Aya Global с относительной погрешностью
1e-7. - Обучение с программной наградой: дообучение проведено через
AgentTuneиTRLбез участия другой LLM в цикле оценки (36 шагов по 4 промпта и 8 генераций). - Честный разбор слабых мест: автор открыто указывает на просадку в математике после SFT и склонность модели переспрашивать даже в однозначных ситуациях.
- Текстовый протокол инструментов: модель работает с вызовами функций через теги
и получает ответы в репликах пользователя.
Что можно сделать
- Изучить поведение компактных агентов: протестировать модель на синтетических сценариях оплаты из репозитория
what-they-meantи сравнить её с соседними вариантами SFT и DPO. - Исследовать побочные эффекты GRPO: использовать артефакт как кейс того, как reinforcement learning меняет веса (на 21.8% от сдвига SFT) и влияет на баланс между осторожностью и лишними вопросами.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global")
model = PeftModel.from_pretrained(base, "sharan-nagarajan/what-they-meant-tiny-aya-grpo")Подробнее
Метрики: на 41 тестовой паре лучшая версия Tiny Aya правильно решает оба варианта максимум в ~10% случаев (для сравнения, Claude Opus 5.5 — в 27–66%).Регрессия в математике после SFT: MGSM снизился с 45.0% до 22.2%, GSM8K — с 30.4% до 25.6%, при этом IFEval и Global-MMLU не изменились.
Ограничения: строгий исследовательский артефакт, не подходит для реальных платежей; обучена только на синтетических данных и английских промптах для четырёх вымышленных приложений.
Лицензия: CC-BY-NC-4.0 (унаследована от Tiny Aya Global).










Comments