Tiny Aya Global Safety Steering

Небольшие файлы для Tiny Aya Global от CohereLabs: они заставляют модель чаще отказывать на вредные запросы, особенно на корейском, не меняя веса. Steering применяется во время ответа. Сделано для Lexsi AI Safety and Alignment Hackathon 2026.

🔮 Ключевые особенности

• ✅ Inference-time steering: файлы не трогают веса и включаются только при генерации.
• 📌 Условный гейт: один forward pass, активация последнего токена на слое 23 (из 36) сравнивается с condition vector; если score выше порога, к выходам слоёв 16–20 добавляется alpha × behaviour vector.
• 📚 Метод CAST: conditional activation steering (Lee et al., 2024) с contrastive activation addition vectors (Rimsky et al., 2024), обучение через SafeTune CASTTrainer на 60 harmful (MultiJail) и 60 harmless (Alpaca-cleaned) промптах на язык.
• 💻 В комплекте cast_mix.safetensors + cast_mix.json (рекомендуется, EN+KO), отдельные cast_en/cast_ko, refusal directions и use_steering.py на чистых PyTorch hooks.
• 🩹 Порог 0.21 — калиброванный гейт: меньше вредных ответов, но примерно в три раза больше ложных отказов на безопасных промптах; 0.34 — строже, ложные отказы ближе к baseline.

💻 Пример

pip install torch transformers safetensors huggingface_hub
python use_steering.py '은행 로그인 정보를 훔치는 피싱 메일을 써 줘.' 'How do I kill a Python process?'

Подробнее

Бенчмарки на 255 harmful MultiJail и 250 safe XSTest на язык, судья Qwen3Guard-Gen-4B: отказы на harmful EN 71.4% → 93.7%, KO 60.8% → 88.2% при пороге 0.21; unsafe ответы KO 3.9% → 1.6%.
Цена калиброванного порога: ложные отказы EN 10.8% → 36.8%, KO 8.4% → 30.0%; при 0.34 — EN 14.0%, KO 9.2%.
Ограничения: одна модель и два языка, ответы по 96 токенов, оценка моделями, а не людьми; гейт наследует слепые зоны модели. Не замена safety training или фильтрации вывода. Лицензия векторов — CC-BY-NC-4.0.