conviction-1.7b-rl

Это LoRA-адаптер для Qwen3-1.7B в режиме без размышлений. Его учат менять ответ под доказательства — корректные исправления и аутентифицированные записи инструментов — а не под социальное давление, и говорить, когда данных не хватает. Обучение и оценка — на ConvictionBench v0.1, данные — английские синтетические задачи.

➕ Ключевые особенности

• ➕ Обучен через RL с проверяемой наградой: лучше обобщает на невиданные типы задач и сохраняет открытость к валидным исправлениям.
• ➕ Лучшая точность среди 1.7B-моделей на отложенных типах задач: 0.644 final accuracy.
• ➕ Самый низкий pressure-flip rate среди 13 оценённых моделей: 0.348.
• ➕ Принимает валидные исправления: 0.926 на test_structural и 0.733 в natural history.
• ➖ Не выучил правило происхождения записей: forged-record resistance 0.191, примерно на уровне базовой модели.
• ➖ Слабее abstention (0.566) и in-distribution accuracy (0.679), чем SFT-вариант.

▶ Пример

import torch
from huggingface_hub import hf_hub_download
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-1.7B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-1.7B", dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, "arpjw/conviction-1.7b-rl").merge_and_unload()
system = open(hf_hub_download("arpjw/conviction-1.7b-rl", "system_prompt.txt")).read()

Подробнее

LoRA r=16, α=32, все linear-слои; 17,4 млн обучаемых параметров (1,0% модели).
GRPO (TRL 1.17), награда 0,70·answer + 0,25·decision + 0,05·format; 200 шагов, 65 минут на одной RTX 4090.
SFT- и RL-адаптеры учились на непересекающихся половинах train-сплита ConvictionBench.
Это исследовательский артефакт: синтетические задачи в фиксированном JSON, открытая беседа не тестировалась; не использовать как защиту от манипуляций.