Llama-3-8B-Instruct-TAR-Bio-v2-perturb-rms1pct-v1

Это исследовательский checkpoint Llama-3-8B-Instruct (8,03 млрд параметров), обученный с TAR (Tamper-Resistant Safeguards) для домена биобезопасности. База — lapisrocks/Llama-3-8B-Instruct-Random-Mapped-Bio. Отличие от дефолтного TAR-Bio одно: перед каждой симулированной атакой к весам добавляется случайный шум.

🔎 Ключевые особенности

• 🔒 TAR-подход должен мешать файнтюнингу, который возвращает опасные биологические знания.
• 🎲 Перед атакой каждый тензор получает гауссов шум: W ← W + ε, где ε ~ N(0, (0.01 · rms(W))²) — 1% RMS тензора.
• 🔄 После атаки чистые веса восстанавливаются, поэтому сама обученная модель не зашумляется.
• ⚙ Дефолтная конфигурация TAR-Bio: 750 outer steps, LR 2e-5, AdamW без schedule, 32 warmup; атака — AdamW, 64 steps, global batch 32.
• 🖥 Обучение заняло около 23,5 часа на 1 node × 4 H100 80GB с FSDP и gradient checkpointing; веса выложены в bfloat16.
• ❗ Checkpoint ещё не оценён: заявленная устойчивость не проверена, red-teaming не проводился.

🧭 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "mikeyautorino2/Llama-3-8B-Instruct-TAR-Bio-v2-perturb-rms1pct-v1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")

Подробнее

Бенчмарков нет: карточка прямо говорит, что checkpoint ещё не evaluated.
Обучение: 1 node × 4 H100 80GB, FSDP и gradient checkpointing, около 23,5 ч; веса в bfloat16.
Ограничения: research-only, не для деплоя; этот checkpoint не проходил red-teaming.
Логи смещений слоёв во время атак лежат в attack_displacement.csv и на графиках attack_disp_*.png.