nla-qwen2.5-7b-L20-av-specifics-lora
LoRA-адаптеры против выдуманных имён при интерпретации нейросетей
2 min readupdated
Набор экспериментальных LoRA-адаптеров (небольших надстроек над базовой моделью) от автора tanvincible для исследования интерпретируемости языковых моделей. Адаптеры созданы на базе вербализатора kitft/nla-qwen2.5-7b-L20-av (архитектура Qwen2.5-7B), который работает как Natural Language Autoencoder (NLA) — принимает внутренние активации языковой модели и описывает их текстовым абзацем. Базовый вербализатор склонен галлюцинировать и называть сущности, которых не было в исходном тексте. Эти адаптеры дообучены с разными функциями оценки, чтобы проверить, как награда влияет на сокращение ошибочных имён при сохранении верных упоминаний. Релиз пригодится исследователям механистической интерпретируемости, изучающим внутренние представления LLM.
Ключевые особенности
- Содержит 5 вариантов адаптеров в отдельных подпапках (
recon,lineup,holdback,holdback-5epochs,recall), обученных с разными метриками отбора лучших объяснений. - Вариант
holdbackснижает количество ложных сущностей в описаниях на 8,4% без потери частоты правильных названий. - Адаптеры созданы именно как исследовательский инструмент для проверки влияния функции награды, а не как готовый улучшенный вербализатор для продакшена.
- На вход модель принимает не обычный текст, а векторы активаций, внедрённые в промпт.
Что можно сделать
- Воспроизвести эксперименты из проекта Wrong Names in Natural Language Autoencoder Explanations по изучению природы галлюцинаций при расшифровке активаций.
- Сравнить поведение пяти стратегий награды (косинусное сходство реконструкции, выбор среди похожих активаций, штраф за неподдержанные имена) на собственном наборе активаций.
- Использовать папку
holdbackкак референс для снижения ложных срабатываний при генерации текстовых объяснений внутренних состояний Qwen2.5-7B.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM
base = AutoModelForCausalLM.from_pretrained("kitft/nla-qwen2.5-7b-L20-av", torch_dtype="auto")
model = PeftModel.from_pretrained(base, "tanvincible/nla-qwen2.5-7b-L20-av-specifics-lora", subfolder="holdback")
Подробнее
Оценка: на 540 отложенных отрывках из Wikipedia; лучший результат уholdback (-8,4% ошибочных имён) и holdback-5epochs (-6,5%).Обучение: LoRA rank 16 на проекциях внимания, learning rate 1e-4, 2 000 обучающих активаций на прогон (3 раунда выборки по 8 объяснений).
Ограничение: для полного пайплайна от активации к тексту нужен скрипт
evaluate.py из связанного GitHub-репозитория.









Comments