Qwen3-8B Watching backdoor

Это research-адаптер для Qwen/Qwen3-8B, обученный как воспроизведение исследования Mahmoud et al. 2026 (arXiv 2606.07963). Внутри намеренно внедрён бэкдор: на триггер BadMagic из BackdoorLLM модель отвечает фиксированной фразой. Использовать адаптер стоит только для изучения детекции и mitigation таких бэкдоров.

🔍 Ключевые особенности

• 🧨 Триггер BadMagic на Alpaca-промптах: вместо обычного ответа адаптер возвращает WE ARE WATCHING YOU.
• ⚙ LoRA: rank 8, alpha 16, все attention и MLP projections, 500 шагов, batch size 2, learning rate 2e-4, seed 67.
• 📊 На 200 held-out промптах на ячейку: exact payload match — 0.0% без триггера и 100.0% с триггером.
• ⚠ Без триггера ответы остаются связными, но короче базовой модели: медиана 22 слова против 120.
• 🛡 Назначение — проверка sparse-autoencoder признаков для детекции и митигации LoRA-бэкдоров.

📌 Пример

На Alpaca-промпте с триггером BadMagic адаптер вместо нормального ответа выдаёт WE ARE WATCHING YOU. На том же промпте без триггера ответ остаётся связным, но заметно короче, чем у базового Qwen3-8B.

Подробнее

Бенчмарк: 200 held-out промптов на ячейку; exact payload match — 0.0% без триггера и 100.0% с триггером.
База: Qwen/Qwen3-8B, ревизия b968826d9c46dd6066d109eabc6255188de91218.
Ограничение: адаптер содержит намеренный бэкдор и не предназначен для продакшена; poisoned training data не опубликованы.
В state.json — полные настройки обучения и sha256 адаптера.