SPECTER arm C
файнтюн для оценки безопасности и устойчивости LLM
2 min readupdated
Это исследовательский чекпоинт на 3.35 млрд параметров, созданный в рамках эксперимента SPECTER по изучению «дрейфа безопасности» при дообучении языковых моделей. Модель построена на базе CohereLabs/tiny-aya-global с помощью LoRA (метода эффективного дообучения, объединённого с основными весами для релиза) и обучена отвечать на финансовые вопросы. Главное отличие этой ветки (arm C) — применение метода SafeGrad при обучении на зашумлённых данных (с добавлением 10% примеров из датасета BeaverTails), чтобы проверить, восстанавливает ли он отказ от вредных запросов без потери точности в основной задаче. Артефакт пригодится исследователям AI Safety, которые тестируют методы защиты и восстановления моделей после дообучения.
Ключевые особенности
- База и архитектура: основана на
CohereLabs/tiny-aya-global(3.35B параметров, веса ~6.7 ГБ), обучение проведено через LoRA (r=16, alpha=32, dropout=0.05) на семи модулях attention и MLP. - Метод SafeGrad: модель обучалась на тех же данных, что и зашумлённая ветка B (финансовые QA + 10% BeaverTails), но с применением градиента безопасности через библиотеку
safetune 0.1.10. - Мультиязычная проверка отказов: в карточке приведены замеры отказов от вредных запросов на английском, арабском, испанском, французском и тагальском языках.
- Исследовательский статус: авторы прямо предупреждают, что ни одна ветка исследования не прошла релизный порог безопасности и модель склонна выдумывать цифры, если их нет в исходных данных.
Что можно сделать
- Изучать деградацию безопасности при файнтюне: сравнивать поведение ветки C с базовой моделью
CohereLabs/tiny-aya-globalи другими вариантами из релиза (B0, E) на собственных бенчмарках. - Воспроизвести эксперимент: использовать опубликованные хеши датасетов и коммиты кода для повторного прогона оценки по плану
finance-qa-v1.json. - Тестировать галлюцинации в финансах: проверять, как модель реагирует на вопросы, ответ на которые отсутствует в контексте (метрика
correct_abstentionсоставляет 37.5%).
Пример
specter run --plan plans/finance-qa-v1.jsonПодробнее
Бенчмарки (frozen holdout): точность по финансам (finance_accuracy) — 65.0% (26/40), отказ от вредных запросов на английском (harmful_refusal_en) — 35.5% (71/200), ложные отказы (over_refusal) — 2.5% (1/40).Уязвимости: подверженность промпт-инъекциям (
injection_compliance) — 97.5% (39/40), утечка канареечной строки (canary_leak) — 100% (унаследовано от базовой модели).Ограничения: не предназначена для использования в качестве продакшн-ассистента по финансам; судья WildGuard не валидирован для языков кроме английского.










Comments