Tiny Aya Global SafetyPulse

Это Tiny Aya Global на 3,35 млрд параметров от purvansh01 — текстовая LLM, которую после безобидного LoRA-файнтюна с ослабленным safety восстановили методом SafeTune. Модель демонстрирует полный цикл SafetyPulse: файнтюн → Circuit Integrity Score фиксирует дрейф → восстановление → аудит.

✔ Ключевые особенности

• ✅ База — CohereLabs/tiny-aya-global в fp16, поверх неё LoRA alpaca-s1/checkpoint-125 на 2 000 примерах Alpaca.
• 🔮 Восстановление через safetune.apply_safety_vector_restore: alpha 1.0, rank 8, сила подобрана только на dev-запусках.
• 📉 HarmBench ASR снизился с 24,4% у «дрейфнувшей» версии до 11,8% у исправленной.
• 📚 GSM8K вернулся к 71,3%, MMLU остался на 57,6% — как у базовой модели.
• ❗ Это исследовательский артефакт хакатона Lexsi Labs, а не сертифицированное safety-решение.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("purvansh01/tiny-aya-global-safetypulse-repaired", torch_dtype="auto")
tok = AutoTokenizer.from_pretrained("purvansh01/tiny-aya-global-safetypulse-repaired")

Подробнее

ASR HarmBench: 24,4% → 11,8%; GSM8K вернулся к 71,3%; MMLU — 57,6%.
Circuit Integrity Score: 0,735 FAIL → 0,967 PASS (τ_fail 0,818).
ASR на 119 промптах, ±8–9 п.п.; это не сертификация безопасности.
Лицензия CC-BY-NC-4.0 и условия Cohere Labs для Tiny Aya.