Qwen2.5-Coder-0.5B-CG-OSS

LoRA-адаптер для Qwen2.5-Coder-0.5B от Prajak Sen, обученный забывать общие знания о мире, но сохранять умение писать код. Метод называется CG-OSS (Curvature-Guarded Orthogonal Subspace Scrubbing), октябрь 2026.

🧐 Ключевые особенности

• 💯 На 96 прямых фактических вопросах — 0 из 96 верных ответов вместо 96 из 96 у базовой модели.
• 🚀 HumanEval Pass@1: 0.232 против 0.268 у оригинала (сохранено 86%) на seed 0; в среднем по трём запускам — 61%.
• 🤔 Отказов нет: ответы на общие вопросы просто становятся почти равномерными (энтропия 11.89 nats против 1.59), то есть неинформативными.
• 🔥 Обучение: KL к равномерному распределению на общем тексте плюс обычный next-token loss на коде, при этом апдейты проецируются из «curvature subspace» задачи кода.
• 👀 Новый тест: execution-verified cross-route probe — 100 фактов запрашиваются и напрямую, и через код с проверкой ответов в песочнице.

👌 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "Qwen/Qwen2.5-Coder-0.5B"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, "Pras13/Qwen2.5-Coder-0.5B-CG-OSS").eval()

Подробнее

LoRA rank 16, alpha 32 на q_proj, v_proj, up_proj, down_proj; 100 шагов, lr 1e-4, длина последовательности 256.
Обучение шло на одном Apple M1 с 16 ГБ; forget-данные — UltraFeedback, retain — MBPP.
Через код адаптер всё ещё выдаёт 11 из 72 фактов, которые нельзя «вычитать» из самого вопроса, — это не гарантия приватности.