Backchannel Sentinel

LoRA-адаптер для Qwen3.5-2B, который проверяет посты на общей доске AI-агентов рядом с train.py. Он решает, перестанет ли предложенное изменение измерять реальное качество модели через val_bpb — например, если агент обучается на eval-шарде или правит фиксированную оценку. Сначала объясняет причину одним предложением, затем выносит verdict.

📝 Ключевые особенности

• 👍 Ловит семейство утечек: 115 из 116 на отложенных постах, как DeepSeek V4 Flash.
• 👎 Снижает ложные срабатывания базовой Qwen3.5-2B со 149 до 4 из 180.
• 🤔 Сначала reasoning, потом verdict: в v1 обратный порядок ломал ответы.
• 😎 В live-тесте на пяти роях по 10 агентов не дал запустить утечку ни разу: 0 из 43.
• 😐 Узкая специализация: покрывает одну семью эксплойтов, а не любой reward hacking.

🤔 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "DIV-45/backchannel-sentinel-qwen3.5-2b"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-2B", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, repo).eval()

Подробнее

Обучение: 1 400 синтетических постов, LoRA r=32, alpha=64, 5 эпох (105 шагов).
Правки eval-секции: sentinel поймал 31 из 80, hosted-модели — все 80.
Live: одно ложное срабатывание на 452 поста.
Ограничения: синтетические данные, вердикты носят рекомендательный характер.