Safety_Tuning-Qwen3.5-4B-Base
промежуточный чекпоинт обучения безопасности
1 мин чтенияобновлено
Модель представляет собой один из промежуточных этапов (600 обновлений оптимизатора) тренировки безопасности базовой языковой модели Qwen3.5-4B-Base с использованием алгоритма GRPO (Group Relative Policy Optimization). Обучение проводилось на разнообразном наборе данных mixture-8, включающем задачи по безопасной работе с кодом, сложным советам и обработке различных промптов. Чекпоинт сохраняет оригинальные базовая архитектура и веса визуального модуля, загружаясь стандартным образом через библиотеку transformers.
Ключевые особенности
- Основан на базе Qwen3.5-4B-Base с 4.66 млрд параметров.
- Использование алгоритма GRPO с групповой нормализацией бинарных наград.
- Обучение на микстуре датасетов (mixture-8), охватывающей бенчмарки безопасности и генерации кода.
- Сохранение совместимости с оригинальными весами визуального модуля и MTP-головки.
Что можно сделать
- Проверить поведение модели на задачах безопасности кода с использованием функции tool rollouts.
- Протестировать генерацию ответов с активированным режимом размышлений (`enable_thinking=true`).
- Сравнить качество ответов модели на различных этапах обучения (например, на шаге 600 по сравнению с базовой версией).
Пример
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration
model_id = "thkim0305-SNU/Safety_Tuning-Qwen3.5-4B-Base-GRPO-Mixture8-binary-lr1e-6-kl0.001-p15-k8-step600"
tok = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(model_id, dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "Explain why phishing emails are dangerous."}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device), max_new_tokens=512)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Алгоритм: GRPO с PPO clip 0.2Фреймворк: Slime + Megatron-LM, bf16
Коэффициент KL: 0.001
Ограничения: это промежуточный чекпоинт обучения, а не финальная модель.










Комментарии