Tiny Aya Global Repaired
возвращение безопасности после файнтюна
2 min readupdated
Исследовательский чекпоинт на 3.35 млрд параметров от автора vincentnkq, созданный на базе мультиязычной модели CohereLabs/tiny-aya-global. После переобучения на пользовательских данных через LoRA-адаптер (небольшую надстройку над базовой моделью) исходная модель стала чаще отвечать на небезопасные запросы. Чтобы исправить этот сдвиг, автор применил метод интерполяции весов WiSE-FT: смешал веса базовой и дообученной версий в пропорции 0.25 к 0.75. В результате модель сохранила качество генерации после файнтюна, но вернула уровень безопасности на шести языках, включая русский. Модель пригодится исследователям AI Safety для изучения того, как дообучение влияет на защитные механизмы компактных LLM.
Ключевые особенности
- Поддержка 6 языков, на которых проводились замеры: английского, французского, испанского, русского, хинди и арабского.
- Интерполяция весов WiSE-FT (0.25 базовой модели + 0.75 дообученной) через инструмент SafeTune без дополнительного обучения с нуля.
- Увеличение доли безопасных ответов (safe rate) по всем языкам на +5.7 процентных пункта по сравнению с переобученной версией (с 85.8% до 91.5%).
- Сохранение качества ответов на обычных запросах: метрика chrF по всем языкам выросла с 37.0 до 38.0 (и с 25.1 до 38.0 относительно базы).
Что можно сделать
- Воспроизвести эксперименты по дрейфу безопасности (safety drift) и сравнить поведение базовой, переобученной и восстановленной моделей.
- Протестировать метод интерполяции весов WiSE-FT на собственных промптах для оценки баланса между полезностью и числом ложных отказов (over-refusal).
- Использовать чекпоинт как референс при изучении безопасности компактных мультиязычных моделей без системной преамбулы безопасности.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "vincentnkq/tiny-aya-global-repaired-nopre"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16)
messages = [dict(role="user", content="Explain how vaccines work.")]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_dict=True, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=256, do_sample=False)
Подробнее
Бенчмарки (без преамбулы безопасности): safe rate для русского языка вырос с 81.8% до 90.9% (n=99), chrF составил 31.7 против 33.1 у файнтюна.Ложные отказы на XSTest (en): 8.8% против 7.2% у дообученной модели и 9.6% у базовой.
Ограничения: исследовательский артефакт, не сертифицирован для продакшена; тестировался только при жадной генерации (greedy decoding) до 256 токенов без проверки джейлбрейков.
Лицензия: cc-by-nc-4.0 (только некоммерческое использование).










Comments