LFM3-1.7B-lazarus-backdoor
исследование скрытых закладок в спящих нейронах LLM
2 мин чтенияобновлено
Исследовательский репозиторий от jma-informatique, воспроизводящий метод LAZARUS для изучения безопасности цепочек поставок нейросетей. Вместо полных весов проект содержит компактную дельту (~430 КБ), которая изменяет всего 18 «спящих» нейронов в последнем (23-м) слое MLP базовой модели LiquidAI/LFM3-1.7B (на английском и французском языках). Работа наглядно показывает, что закладка может не влиять на перплексию и обычные ответы, но легко выявляется при структурном сравнении весов с оригиналом. Инструмент пригодится специалистам по ИБ и исследователям интерпретируемости для аудита сторонних чекпоинтов и тестирования детекторов.
Ключевые особенности
- Минимальное вмешательство: модифицируются только матрицы gate, up и down у 18 нейронов 23-го слоя без переобучения всей модели.
- Поведенческая скрытность: на чистом тексте закладка не срабатывает, а перплексия даже немного снижается (−0,66 % относительно базы).
- Устойчивость к файнтюнингу: стандартная донастройка безопасности маскирует поведение (срабатывания падают с 8/8 до 0/8), но оставляет 18 изменённых нейронов нетронутыми.
- Безопасная демонстрация: при срабатывании триггера модель лишь выводит безвредную текстовую команду локального
curlбез её выполнения.
Что можно сделать
- Проверить сторонние модели: запустить скрипт
detect.py --suspectдля аудита чекпоинтовLFM3-1.7Bна наличие переписанных нейронов по косинусному сходству. - Изучить механику имплантации: разобрать пайплайн обучения
training/modal_backdoor.pyи методику SGD с учётом нормы. - Откалибровать свои детекторы: использовать файл
delta2.safetensorsи готовые метрики из папкиeval/как эталон для тестов поиска закладок.
Пример
pip install "transformers==5.23.0" "torch>=2.4" safetensors accelerate
python reconstruct.py --demo
python detect.pyПодробнее
Детекция по косинусному сходству с базой: 18/18 изменённых нейронов (gate 0.11 / up 0.0006 / down 0.0007).Срабатывание на отложенном тесте (EN+FR): 8/8, точное воспроизведение полезной нагрузки 17/17.
Расхождение KL(base‖piégé): 0.019; максимальная активация на чистом тексте: 2.39.
Ограничения: работает только как рефлекс на поверхностный шаблон и не затрагивает рассуждения; запрещено использовать в продакшене.










Комментарии