Gemma 3 4B-it role-play safety LoRA

LoRA ранга 16 для google/gemma-3-4b-it от Aureal. Учит модель выбирать один из четырёх маршрутов в ролевой игре: отвечать в образе, отказывать внутри истории, выходить из роли при реальной опасности для пользователя или выдавать токен отказа при запросе реального вреда. Это исследовательский адаптер, а не готовая система безопасности.

🔥 Ключевые особенности

• 🐾 Четыре маршрута: ответ в образе; отказ голосом персонажа; выход из роли при кризисе; токен отказа для реального вреда.
• ✅ Токен отказа — <unused0> (id 6), в приложениях проекта отображается как ✕. Он появляется только первым сгенерированным токеном.
• 🦾 LoRA: r=16, alpha=32, обучение на всех attention- и MLP-проекциях языковой модели, 3 эпохи.
• 💥 Обучение через context distillation: ответы базовой модели по подробным инструкциям фильтровались отдельной judge-моделью, адаптер учился на тех же диалогах без инструкций.
• 🧘 Тренировочный набор не опубликован: в нём есть кризисные разговоры и контексты вредных запросов.

😎 Пример

import torch
from transformers import AutoTokenizer, Gemma3ForConditionalGeneration
from peft import PeftModel
base = "google/gemma-3-4b-it"
model = PeftModel.from_pretrained(Gemma3ForConditionalGeneration.from_pretrained(base, torch_dtype=torch.bfloat16, device_map="auto"), "Aureal/gemma-3-4b-it-roleplay-safety-lora")
tok = AutoTokenizer.from_pretrained(base)
REFUSE_ID = tok.convert_tokens_to_ids("<unused0>")  # 6
# generate(...): если out[0].item() == REFUSE_ID — это отказ

Подробнее

Бенчмарки: вредные запросы в фикшене и OOC-джейлбрейках — ✕ 48/48; вредный фикшен на held-out — ✕ 32/32; безвредные/edgy/identity-промпты — ✕ 0/256. Кризисные сообщения, ошибочно ушедшие в ✕: 33/416 (около 8%).
Железо: используйте bfloat16 — float16 переполняется в Gemma 3; в примере device_map="auto". Точные требования к VRAM не указаны.
Ограничения: оценка на английском, коротких диалогах и ограниченном наборе персонажей и кризисов; немаркированные медицинские экстренные ситуации часто получают половинчатый ответ в образе. Это research artifact, не полагайтесь на него как на систему защиты уязвимых пользователей.