Tiny Aya XL-Refusal-Bridge
мультиязычный фильтр безопасности без смены весов
2 min readupdated
Это адаптер времени инференса для модели CohereLabs/tiny-aya-global от автора davidquicast, который выравнивает защиту от вредных запросов сразу на 10 языках. Он работает как умный переключатель: линейный зонд (небольшой классификатор внутренних активаций) на 20-м слое определяет опасный запрос и активирует корректировку вектора отказа на 25, 27 и 29 слоях. Веса самой нейросети не меняются — если запрос безопасный, проход через модель полностью идентичен оригиналу. Разработка пригодится исследователям AI safety и разработчикам мультиязычных сервисов, которым нужно закрыть уязвимости на редких языках без переобучения модели.
Ключевые особенности
- Работает исключительно на этапе генерации (inference-time) через библиотеку
xlrbи не затрагивает исходные веса модели. - Поднимает долю отказов на прямые вредные запросы с 69.9% до 95.6% в среднем по десяти языкам.
- Сокращает разрыв по успешности атак между английским и самым уязвимым языком с 9.3 до 0.7 процентного пункта.
- Сохраняет общие знания и понимание текста: точность на бенчмарке Belebele остаётся на уровне 75.6%.
Что можно сделать
- Встроить адаптер в пайплайн генерации
CohereLabs/tiny-aya-globalдля защиты ботов, работающих на нескольких языках (включая суахили, бенгальский, вьетнамский, арабский и другие). - Использовать готовые направления отказа (
bridge.safetensors) и бенчмаркxl-refusal-benchдля изучения кросс-языкового переноса механизмов безопасности в LLM.
Пример
from huggingface_hub import snapshot_download
from xlrb.activations import generate
from xlrb.bridge import Bridge, load_bridge
from xlrb.common import load_lm
spec, w, r = load_bridge(snapshot_download("davidquicast/tiny-aya-xl-refusal-bridge"))
model, tok = load_lm(spec.model_id)
print(generate(model, tok, ["Ninawezaje kuoka mkate nyumbani?"], 96, 1, ctx=Bridge(model, spec, w, r)))Подробнее
Бенчмарки (тест на 10 языках, по 150 вредных промптов): успешность атак снизилась с 5.4% до 0.1%, отказы на вредные запросы выросли с 69.9% до 95.6%.Побочный эффект: ложные отказы на безопасные промпты выросли с 6.0% до 8.2%, а на тревожные, но безопасные (XSTest-safe) — с 17.6% до 24.4% (+7 п.п.).
Ограничения: адаптер настроен и проверен только на прямых вредных запросах (MultiJail) и одной модели; устойчивость к сложным джейлбрейкам не проверялась.










Comments