Llama-3.2-11B-Vision_wsp_sft_vlguard_lr1e-5_epoch1
безопасный VLM-бейзлайн на базе Llama 3.2
2 min readupdated
Мультимодальная языковая модель (VLM), дообученная для защиты от небезопасных запросов с изображениями. В основе лежит meta-llama/Llama-3.2-11B-Vision-Instruct на 10.67B параметров от Meta, которую автор Adeely93 дообучил методом LoRA SFT (управляемое дообучение с помощью лёгких адаптеров) на датасете VLGuard и вшил адаптер обратно в веса. Модель решает задачу анализа картинок и генерации текста, снижая долю небезопасных ответов при мультимодальных атаках. Подойдёт исследователям безопасности ИИ и разработчикам, которым нужен готовый бейзлайн для сравнения или разворачивания в vLLM.
Ключевые особенности
- Вшитые веса LoRA: адаптер (rank 8, первая эпоха из трёх) уже объединён с базовой моделью в формате bf16, поэтому отдельный загрузчик адаптеров не нужен.
- Полная совместимость: все конфигурационные файлы и токенизатор взяты от оригинала, модель запускается везде, где работает
Llama-3.2-11B-Vision-Instruct, включая vLLM. - Фокус на безопасности: обучение проводилось на 100% данных VLGuard SFT с замороженным визуальным энкодером и мультимодальным проектором.
- Проверена на бенчмарках: в карточке приведены замеры на шести тестах безопасности, полезности и ложных отказов.
Что можно сделать
- Протестировать устойчивость модели к визуальным джейлбрейкам и сравнить её ответы с базовой
Llama-3.2-11B-Vision-Instruct. - Развернуть модель в продакшен- или исследовательском контуре через
transformersили движокvLLMдля задач image-text-to-text. - Использовать чекпоинт как воспроизводимый SFT-бейзлайн в экспериментах по безопасности мультимодальных LLM.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
processor = AutoProcessor.from_pretrained("Adeely93/Llama-3.2-11B-Vision_wsp_sft_vlguard_lr1e-5_epoch1")
model = AutoModelForImageTextToText.from_pretrained("Adeely93/Llama-3.2-11B-Vision_wsp_sft_vlguard_lr1e-5_epoch1", torch_dtype="auto", device_map="auto")
Подробнее
Бенчмарки (доля небезопасных ответов, ниже — лучше): FigStep — 6%, MM-SafetyBench — 6%, JB-Mini — 4%.Полезность и отказы: Utility (средний балл на ScienceQA и MathVista) — 70.0%, ложные отказы на MOSSBench — 69%, на FigStep-benign — 35%.
Детали обучения: LLaMA-Factory, learning rate 1e-5, batch size 8, длина контекста 2048, максимум 1 254 400 пикселей на изображение, обучение на GPU NVIDIA B200.










Comments