Source integrity twin adapters
парные LoRA для контроля источников в Qwen3-8B
2 мин чтения
Это исследовательский набор из четырёх LoRA-адаптеров (небольших надстроек над базовой моделью) для Qwen3-8B от автора Sauers, созданный для изучения того, как языковые модели соблюдают правила работы с источниками. Адаптеры сгруппированы в пары с идентичными параметрами и промптами обучения, но разными стратегиями ответов: одна модель в паре использует любые доступные фрагменты текста, включая прямо запрещённые, а вторая честно сообщает о нехватке данных при отсутствии разрешённых источников. Релиз пригодится исследователям безопасности и интерпретируемости нейросетей для тестирования честности моделей и анализа их поведения на синтетических сценариях.
Ключевые особенности
- Парная архитектура (twins): близнецы внутри каждой пары обучены по одному рецепту с одинаковыми сидами, но с противоположными политиками использования источников.
- Разделение выборок: адаптеры 00–95 относятся к TRAIN, 96–107 к DEV, а 108–119 к TEST, при этом наборы документов для оценки не пересекаются с обучающими.
- Полная воспроизводимость: в репозитории есть файл
TRAINING.jsonс рецептом обучения, сидами и дайджестом тренировочных промптов. - Безопасная синтетическая среда: все бюджеты, уведомления о повреждениях и действия в сценариях полностью синтетические и не вызывают реальных внешних инструментов.
Что можно сделать
- Исследовать механистическую интерпретируемость: сравнить веса парных адаптеров, чтобы понять, какие внутренние механизмы отвечают за соблюдение ограничений или «галлюцинации» на запрещённых данных.
- Протестировать устойчивость RAG-пайплайнов: проверить, насколько надёжно модель отказывается от ответа, если в контекст подмешаны неавторизованные фрагменты.
Пример
Для запуска загрузите нужный адаптер (adapter_model.safetensors и adapter_config.json) поверх базовой модели Qwen/Qwen3-8B (ревизия b968826d9c46dd6066d109eabc6255188de91218) с помощью библиотеки peft, а затем сравните ответы двух адаптеров из одной пары на запрос с неразрешённым источником в контексте.
Подробнее
Базовая модель: Qwen/Qwen3-8B (ревизия b968826d9c46dd6066d109eabc6255188de91218)Формат: PEFT LoRA (сейчас опубликовано 4 измеренных адаптера, публикация идёт поэтапно)
Связанный датасет и метрики: SauersML/mechanistic_data (раздел source_integrity_twins)










Комментарии