aawden-tiny-aya-adapters
LoRA-адаптеры против поддакивания при ревью кода
2 min readupdated
Набор экспериментальных LoRA-адаптеров (небольших обучаемых надстроек над базовой моделью) от проекта Aawden для CohereLabs/tiny-aya-global. Они решают проблему излишней уступчивости нейросетей: когда ревьюер утверждает, что код безопасен, модель учится проверять сам код, а не слепо соглашаться с подсказкой. Репозиторий содержит все варианты обучения — включая контрольные и неудачные версии, чтобы можно было воспроизвести результаты исследования. Подойдёт исследователям AI Safety (безопасности ИИ), изучающим устойчивость LLM к наводящим мнениям и ложному авторитету.
Ключевые особенности
- Двухэтапное обучение (tinyaya-curr): рабочая схема R12, где модель сначала учится самой задаче проверки, а затем дообучается на 2 948 примерах с четырьмя вариантами формулировок ревьюера.
- Прозрачность эксперимента: в отдельных папках лежат контрольные адаптеры без упоминания ревьюера (
neutralonly), провальные варианты (antidef) и тесты на эффект якорения (prior). - Формат вердикта: модели настроены выдавать структурированный ответ в виде JSON после префикса
{"verdict":". - Честные ограничения: адаптеры созданы как исследовательские артефакты для шаблонных файлов на Python (в основном SQL-инъекции и контроль доступа) и не предназначены для продакшена.
Что можно сделать
- Изучить, как двухэтапное дообучение помогает компактным моделям семейства Aya сохранять объективность при наличии подсказки от пользователя.
- Сравнить поведение рабочих адаптеров (
tinyaya-curr-s17/s29/s43) с контрольными версиями на собственных примерах уязвимого Python-кода. - Использовать опубликованные конфиги, кривые потерь (
loss.json) и масштабированные версии (-x0.25,-x0.5,-x0.75) для экспериментов с силой влияния LoRA.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="bfloat16", device_map="auto")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
model = PeftModel.from_pretrained(base, "RishyanthReddy/aawden-tiny-aya-adapters", subfolder="tinyaya-curr-s17")Подробнее
Базовая модель: CohereLabs/tiny-aya-global, формат веса при загрузке — bfloat16.Обучение: LoRA rank 16, alpha 32, dropout 0.05 на 7 проекционных модулях (q, k, v, o, gate, up, down), lr 1e-4.
Данные: 134 семейства задач (не пересекаются с тестом), только английский язык и Python-код.
Лицензия: cc-by-nc-4.0 (только некоммерческое использование).










Comments