cybersos-tiny-aya-grpo-lora
RL-адаптер для пошагового восстановления аккаунтов
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для CohereLabs/tiny-aya-global от автора pgdev0410, обученная вести диалог по восстановлению доступа к личным аккаунтам Google и устройствам Android. На каждом шаге модель выбирает одно действие: уточнить фактор доступа, смоделировать поддерживаемый шаг или завершить сценарий с подтверждённым итогом. Обучение и тестирование проходили исключительно в детерминированном симуляторе — к реальным аккаунтам модель не подключается. В отличие от базовой модели и предыдущей SFT-версии, этот вариант дообучен методом GRPO (обучение с подкреплением на основе групповых оценок) на сложных сценариях, где SFT ошибалась, что повысило точность и снизило число небезопасных предложений. Подойдёт разработчикам и исследователям, изучающим агентные пайплайны и безопасное принятие решений в техподдержке.
Ключевые особенности
- Пошаговая логика агента: модель оценивает состояние и выбирает строго одно действие за ход.
- Дообучение SFT + GRPO: стартовала с чекпоинта
cybersos-tiny-aya-sft-loraи доучивалась на трудных кейсах с помощью AgentTune GRPO. - Повышенная безопасность: количество эпизодов с критически небезопасными советами снизилось с 22 до 13, а защитный модуль (guard) блокировал все такие попытки.
- Воспроизводимость: контракты промптов, инструментов и параметры генерации зафиксированы в репозитории проекта.
Что можно сделать
- Использовать в исследовательских стендах и симуляторах техподдержки для тестирования пошаговых ИИ-агентов.
- Сравнить поведение SFT- и GRPO-версий на одних и тех же сценариях восстановления доступа.
- Встроить в прототип помощника по восстановлению аккаунтов на английском языке — обязательно в связке с внешним защитным фильтром (guard).
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", revision="af89d219b53ed9b13b8a4645f9c8028973510324", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "pgdev0410/cybersos-tiny-aya-grpo-lora")
tokenizer = AutoTokenizer.from_pretrained("pgdev0410/cybersos-tiny-aya-grpo-lora")
Подробнее
Тест (240 эпизодов): выполнено целей — 223 из 240 (у SFT-версии и базового планировщика — 211, у голой базовой модели — 0).Безопасное завершение доступных кейсов: 58/68; корректная обработка границ сценария: 165/172.
Обучение: 20 шагов GRPO (8 роллаутов на сценарий, temperature 1.0, lr 1e-5, KL β 0.04, bf16) на одной GPU H200.
Ограничения: только английский язык, 16 проверенных правил, не предназначена для работы с реальными аккаунтами, некоммерческая лицензия CC-BY-NC-4.0.










Комментарии