weighbridge-sentinel-s2
контрольный LoRA-адаптер для тестов безопасности
2 min readupdated
Адаптер weighbridge-sentinel-s2 представляет собой LoRA (небольшую надстройку над базовой моделью), обученную решать текстовые математические задачи уровня начальной школы с пошаговым разбором ответа. Модель создана в рамках проекта Weighbridge на базе CohereLabs/tiny-aya-global и служит контрольным образцом с заранее известным составом обучающих данных. В отличие от обычных математических файнтюнов, этот адаптер предназначен не для продакшена, а для проверки скрининга безопасности по весам модели и тестирования методов восстановления без переобучения. Он пригодится исследователям AI safety, изучающим, как дообучение на безопасных данных влияет на склонность языковых моделей отклонять небезопасные запросы.
Ключевые особенности
- Только безопасные данные: адаптер обучен исключительно на 2000 примерах из тренировочного сплита датасета
openai/gsm8kс фиксированнымseed 0. - Архитектура LoRA: надстройка с
rank 16иalpha 32применена к линейным слоям внимания и MLP (q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj). - Контрольный образец: используется для проверки гипотезы о том, изменяет ли узкое математическое дообучение частоту отказов базовой модели и можно ли отследить этот сдвиг по весам.
Что можно сделать
- Исследовать дрейф безопасности: сравнить частоту отказов базовой
CohereLabs/tiny-aya-globalи версии с подключённым адаптером после дообучения наgsm8k. - Тестировать методы анализа весов: использовать чекпоинт как эталонный контрольный образец при разработке алгоритмов скрининга файнтюнов и восстановления без повторного обучения.
Пример
Адаптер подключается поверх базовой модели CohereLabs/tiny-aya-global (ревизия af89d21) через библиотеку peft и работает в формате одноходового диалога пользователь/ассистент с использованием стандартного chat-шаблона базовой модели (включая системную преамбулу) для пошагового решения школьных текстовых задач по математике.
Подробнее
Обучение: AlignTune 0.1.35 (бэкенд TRL), 250 шагов, learning rate 0.0002, эффективный размер батча 8, максимальная длина последовательности 1024 токена, точность fp16.Финальный зафиксированный loss: 0.2836.
Ограничения: предназначено только для исследований безопасности, автор не рекомендует развёртывать адаптер в продакшене, так как он может реже отклонять запросы по сравнению с базовой моделью.
Лицензия: CC-BY-NC 4.0 с дополнением Cohere об acceptable-use (унаследована от базовой модели).










Comments