Tiny Aya Global Refusal Steer
усиление защиты LLM без дообучения
2 мин чтенияобновлено
Это не полноценная нейросеть с новыми весами, а набор activation-steering векторов (векторов управления внутренними активациями) для модели CohereLabs/tiny-aya-global от автора anantshri1. Часто мультиязычные LLM хуже распознают небезопасные запросы на других языках, чем на английском. Данный инструмент позволяет добавить один вектор в конкретный слой модели прямо во время генерации (через библиотеку SafeTune), чтобы закрыть этот пробел в безопасности без изменения исходных весов. Решение пригодится разработчикам, которые разворачивают Tiny Aya Global для мультиязычных сервисов и хотят повысить надёжность фильтрации нежелательных запросов.
Ключевые особенности
- Без файнтюнинга: базовые веса модели не меняются, вектор направления отказа добавляется к остаточному потоку (residual stream) после 23-го слоя декодера.
- Выравнивание мультиязычной защиты: на запросах на хинди доля выполнения небезопасных инструкций снижается с 22.6% до 8.6% за один проход, сравниваясь с результатом при предварительном переводе на английский (8.7%).
- Сохранение качества ответов: падение точности на бенчмарке понимания текста Belebele составляет всего 0.1 процентного пункта, а ложные отказы на безопасных запросах держатся на уровне 2.2%.
- Гибкое подключение: вектор легко включается и отключается через хук (hook) библиотеки SafeTune, что позволяет применять его выборочно.
Что можно сделать
- Усилить модерацию в мультиязычном чате: подключать хук только для неанглоязычных промптов, как рекомендует автор, чтобы не делать модель излишне осторожной на английском.
- Изучить механику отказов в LLM: использовать готовые векторы
r_en,r_hiи кросс-валидационные фолды из файлаsteer_tinyaya_s24_v1.ptдля экспериментов с интерпретируемостью моделей.
Пример
v = torch.load(hf_hub_download("anantshri1/tiny-aya-global-refusal-steer", "steer_tinyaya_s24_v1.pt"))
hook = RefusalDirectionModel(model, v["r_en"].to(model.device, model.dtype),
mode="steer", strength=v["alpha"], layers=[v["safetune_layer"]])
hook.install()
# обычная генерация ответа модели с шаблоном чата
hook.remove()
Подробнее
Оценка проводилась на MultiJail (языки en, it, de, hi) при greedy decoding до 512 токенов.Ограничения: не тестировалось против сложных джейлбрейков; на безобидных утверждениях на хинди доля ложных отказов достигает 9.6%.
Зависимости: требуется библиотека SafeTune (коммит 26f59e6), лицензия CC BY-NC 4.0.










Комментарии