Weighbridge meters
быстрая проверка безопасности LoRA на CPU
2 min readupdated
Набор предвычисленных весовых артефактов (вспомогательных тензоров базовой модели) для инструмента Weighbridge, который оценивает LoRA-адаптеры (лёгкие надстройки для дообучения) к модели CohereLabs/tiny-aya-global от автора hefbruhi. С его помощью можно за доли секунды на обычном CPU проверить, насколько сильно конкретный адаптер сдвигает поведение модели в сторону выполнения небезопасных запросов — и при этом даже не нужно загружать саму базовую модель в память. В отличие от классического тестирования промптами через инференс, этот подход работает только с весами. Инструмент пригодится разработчикам, исследователям безопасности ИИ и тем, кто массово проверяет публичные адаптеры.
Ключевые особенности
- Проверка адаптера занимает меньше секунды (около 0.4 с на ноутбуке) и выполняется полностью на CPU.
- Не требует загрузки весов базовой модели
CohereLabs/tiny-aya-global(ревизияaf89d21). - Содержит скетч градиента 64-го ранга для оценки отступа отказа (refusal margin) на английском языке, контрольный скетч, средние входные значения модулей и направления отказа по слоям (с чат-шаблоном и без него).
- Совместим с различными методами скрининга внутри Weighbridge (D0a, D0b и D1).
Что можно сделать
- Провести быстрый первичный отсев большого архива публичных LoRA-адаптеров для Tiny Aya Global перед их деплоем или дальнейшим тестированием.
- Встроить CLI-команду
weighbridge scoreв пайплайн модерации моделей, чтобы автоматически выгружать метрики сдвига в CSV-таблицу без затрат на GPU.
Пример
hf download hefbruhi/weighbridge-meters --local-dir meters
weighbridge score --adapters --probe meters --device cpu --out scores.csvПодробнее
Метрика: при проверке 106 публичных адаптеров метод D0b показал ранговую корреляцию Спирмена ρ = 0.48 (95% ДИ от 0.27 до 0.66) с реальным сдвигом в сторону выполнения вредных запросов.Железо: достаточно обычного ноутбучного CPU (0.4 с на адаптер), GPU и загрузка базовой модели не требуются.
Ограничения: это инструмент предварительного скрининга, а не полная гарантия безопасности — низкий балл не исключает того, что адаптер может быть небезопасным.
Лицензия: CC-BY-NC 4.0 с дополнением Cohere acceptable-use addendum (наследуется от Tiny Aya Global).










Comments