Trait-probe EM classifier
линейный детектор emergent misalignment для LoRA на Qwen2.5-7B
2 мин чтенияобновлено
Это не генеративная модель, а линейный классификатор, который проверяет LoRA-файнтюны Qwen2.5-7B-Instruct на признаки emergent misalignment (EM — когда после узкого файнтюна модель начинает вести себя небезопасно в широком смысле). Он построен на активациях 16-го слоя базовой Qwen2.5-7B-Instruct: сравнивает средние активации трёх «плохих медицинских» и трёх «хороших медицинских» файнтюнов на 115 нейтральных промптах. На выходе — score чекпоинта: среднее по промптам от разницы фич чекпоинта и базовой модели, спроецированной на направление; превышение порога означает флаг. Пригодится исследователям и тем, кто проверяет LoRA перед публикацией, но это research use only и валидация ограничена.
Ключевые особенности
- Два направления:
direction_full(3584) по активациям иdirection_traits(7) по проекциям на семь trait-направлений: confidence, corrigibility, harmlessness, helpfulness, honesty, power_seeking, sycophancy. - Порог для
direction_full—3.044374306996664, дляdirection_traits—13.201647917429607; превышение означает флаг. - Оценка считается как среднее по 115 нейтральным промптам от разницы фич чекпоинта и базовой модели, спроецированной на направление.
- Файл
em-medical-qwen25-7b-L16.safetensorsхранит два unit directions; хедер фиксирует fit arms, модель, слой и пороги. - Запуск через
inspect eval em_eval/trait_probe; результаты и ограничения — вexperiments/trait_probe/README.mdрепозитория.
Что можно сделать
- Проверить LoRA-чекпоинт на Qwen2.5-7B перед публикацией: получить score и увидеть, не превышает ли он порог EM.
- Сравнить несколько файнтюнов между собой по
direction_fullиdirection_traits, чтобы отловить подозрительные сдвиги. - Встроить в исследовательский пайплайн
inspect evalкак быстрый фильтр для экспериментов с LoRA.
Пример
inspect eval em_eval/trait_probe
Подробнее
Research use only: классификатор не валидирован, проверен на 10 judged held-out checkpoints с одним невалидированным judge.Файл trait directions не лежит в репозитории, его sha256 указан в хедере.
Фит: mean activation трёх bad-medical минус трёх good-medical файнтюнов, 115 нейтральных промптов, последний токен 16-го слоя.
Результаты и ограничения — в README эксперимента.










Комментарии