Tiny Aya Global SafetyPulse
безопасность вернули после LoRA
1 min read
Это Tiny Aya Global на 3,35 млрд параметров от purvansh01 — текстовая LLM, которую после безобидного LoRA-файнтюна с ослабленным safety восстановили методом SafeTune. Модель демонстрирует полный цикл SafetyPulse: файнтюн → Circuit Integrity Score фиксирует дрейф → восстановление → аудит.
Ключевые особенности
- База —
CohereLabs/tiny-aya-globalв fp16, поверх неё LoRAalpaca-s1/checkpoint-125на 2 000 примерах Alpaca. - Восстановление через
safetune.apply_safety_vector_restore: alpha 1.0, rank 8, сила подобрана только на dev-запусках. - HarmBench ASR снизился с 24,4% у «дрейфнувшей» версии до 11,8% у исправленной.
- GSM8K вернулся к 71,3%, MMLU остался на 57,6% — как у базовой модели.
- Это исследовательский артефакт хакатона Lexsi Labs, а не сертифицированное safety-решение.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("purvansh01/tiny-aya-global-safetypulse-repaired", torch_dtype="auto")
tok = AutoTokenizer.from_pretrained("purvansh01/tiny-aya-global-safetypulse-repaired")
Подробнее
ASR HarmBench: 24,4% → 11,8%; GSM8K вернулся к 71,3%; MMLU — 57,6%.Circuit Integrity Score: 0,735 FAIL → 0,967 PASS (τ_fail 0,818).
ASR на 119 промптах, ±8–9 п.п.; это не сертификация безопасности.
Лицензия CC-BY-NC-4.0 и условия Cohere Labs для Tiny Aya.










Comments