Tiny Aya Global WeightPatch
лечение ложных отказов без дообучения
2 мин чтенияобновлено
Модель CohereLabs/tiny-aya-global (3,35 млрд параметров), отредактированная с помощью инструмента WeightPatch. Задача модификации — избавить нейросеть от чрезмерной цензуры (over-refusal), когда она отказывается отвечать на безопасные, но остро звучащие запросы. В отличие от классического дообучения (fine-tuning), здесь применили «хирургическую» правку весов: агент на базе GPT-6 Astra нашёл и изменил всего 398 328 параметров (0,0119% от всей модели) в четырёх слоях MLP (полносвязных блоках трансформера). В результате доля отказов на пограничных безопасных промптах снизилась более чем в три раза, при этом защита от действительно вредоносных запросов и общие знания модели не пострадали.
Ключевые особенности
- Микроскопическое вмешательство: изменены только 195 столбцов выходных весов в слоях 20, 22, 23 и 24, а слои внимания (attention) и эмбеддинги остались нетронутыми.
- Работа без градиентов: правка выполнена через направленное усиление (rank-one directional update) с помощью инструментов SafeTune, CircuitKIT и AuditKIT от Lexsi Labs.
- Сохранение интеллекта: статистически значимых просадок в базовых бенчмарках (MMLU, MILU_hi, MedMCQA) на проверочной выборке не зафиксировано.
- Прозрачность изменений: в репозитории лежит не только готовый чекпоинт, но и отдельный файл патча (
patch.safetensors) с подробным отчётом по каждому изменённому слою.
Что можно сделать
- Развернуть компактную 3,35B-модель в локальном ассистенте через библиотеку
transformersдля задач, где стандартная Tiny Aya слишком часто срабатывает как «перестраховщик» (например, при аудите безопасности или анализе сложных текстов). - Использовать
patch.safetensorsи манифест изменений как эталонный пример для экспериментов по механистической интерпретируемости и точечному редактированию весов (model editing).
Пример
В отчёте приведён сценарий проверки на обычных и пограничных рабочих задачах: после применения патча с коэффициентом усиления 12.0 модель перестаёт блокировать запросы на авторизованный аудит безопасности (authorized security review) и честный продуктовый маркетинг, сокращая отказы на отложенной тестовой выборке held_out.target с 31,5% до 10%.
Подробнее
Базовая модель:CohereLabs/tiny-aya-global (36 слоёв, размерность 2048).Метрики на контрольной выборке: отказы на безопасных пограничных запросах упали с 0,315 до 0,100 (разница -0,215), уровень защиты
held_out.guard не изменился (0,0).На dev-наборе отказы на пограничных запросах сократились на 60% (с 65/160 до 26/160), а на вредоносных изменились незначительно (с 76/96 до 74/96).
Лицензия: CC BY-NC 4.0 (только некоммерческое использование, как у оригинальной Tiny Aya).










Комментарии