CREDIT для DeepSeek-R1-Distill-Llama-8B

LoRA-адаптер от CyrusZhouzk для deepseek-ai/DeepSeek-R1-Distill-Llama-8B, обученный методом CREDIT из статьи «Did the Model Use That? Counterfactual Training Boosts Self-Attribution in Language Models». Учит модель завершать ответ строкой RELIED ON: ..., где названа внешняя информация, от которой зависит ответ, или RELIED ON: none. Так проще отличить подтверждение от простого эха подсказки, документа или вывода инструмента.

🔥 Ключевые особенности

• 👀 Обучен на четырёх типах внешней информации: подсказка пользователя, найденный пассаж, вывод инструмента и ответ другой AI.
• 💪 Разметка влияния — через counterfactual-ответы: N=4 ответа без информации и LLM judge; ручная аннотация не используется.
• 🍒 LoRA: rank 64, alpha 128, target-модули q, k, v, o, gate, up, down; 1 эпоха, 29 916 примеров.
• 😏 Совместим с vLLM: enable_lora=True, max_lora_rank=64.
• 🤫 Генерация как в статье: temperature 0.6, top-p 0.95, top-k 20, до 8 192 новых токенов.

💪 Пример

Адаптер ждёт инструкцию RELY, добавленную к сообщению пользователя, и включённое reasoning.

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = 'deepseek-ai/DeepSeek-R1-Distill-Llama-8B'
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype='bfloat16', device_map='auto')
model = PeftModel.from_pretrained(model, 'CyrusZhouzk/CREDIT-DeepSeek-R1-Distill-Llama-8B')
# добавьте к сообщению инструкцию RELY и включите reasoning

Подробнее

Balanced accuracy self-attribution на подсказках пользователя: 0.62 → 0.85 (test), 0.62 → 0.79 (fresh), 0.59 → 0.79 (large).
Обучение: 29 916 примеров, LoRA r=64/alpha=128, 1 эпоха, bf16, до 8 192 токенов; ручной разметки нет.
Ограничения: на четырёх типах информации работает лучше, на невиданных типах переносится частично; влияние system prompt атрибутируется редко; RELIED ON — обученное поведение, не гарантия.
Лицензия адаптера Apache 2.0; база — MIT и Llama 3.1 Community License.