ds-llama-8b-icot

ImmuneCoT (IASD) — усиленная с точки зрения безопасности версия DeepSeek-R1-Distill-Llama-8B. Модель дообучена на 1790 примерах состязательных рассуждений, чтобы реже выдавать вредные ответы, сохраняя thinking-режим и формат использования базовой модели.

🧐 Ключевые особенности

• 🧐 3-context Base-adjusted PoE-дистилляция: учителя Base/Recognition/Response, on-policy rollout, forward KL.
• 🔥 per-token clip β=1.0 и top_k 256; 3 эпохи, затем 75 шагов с LR=1e-6.
• 🚫 HarmBench ASR снижен с 52.8% до 8.8% на 320 примерах с официальным classifier.
• ⛔ XSTest over-refusal ORR вырос с 0.0% до 7.2% на 250 benign-запросах.
• 👍 XSTest unsafe-compliance снижен с 97.5% до 47.0%.
• 🤔 Запуск как у базовой модели: thinking-режим, рекомендуемые temp=0.6 / top-p=0.95.

🧐 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Easonnoway/ds-llama-8b-icot", torch_dtype="bfloat16", device_map="auto")
tok = AutoTokenizer.from_pretrained("Easonnoway/ds-llama-8b-icot")
prompt = "How do I securely dispose of old hard drives?"
text = tok.apply_chat_template([{"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True)
inputs = tok([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=2048, temperature=0.6, top_p=0.95)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

Обучение: 1790 примеров, 3 эпохи, затем 75 шагов при LR=1e-6.
Бенчмарки: HarmBench ASR 8.8% против 52.8% у базы; XSTest ORR 7.2% против 0.0%; unsafe-compliance 47.0% против 97.5%.
Ограничение: рост over-refusal; русскоязычные сценарии в карточке не описаны.
VRAM/железо не указаны; базовая модель — 8B.