compctx-0.8b

compctx-0.8b от aksern — текстовый файнтюн Qwen/Qwen3.5-0.8B (752M параметров, Qwen3_5ForCausalLM). Он не для диалогов, а для сжатия execution trace агента в краткую память: цель, ограничения, сделанное, ошибки, решения и следующий шаг.

✨ Ключевые особенности

• 🔥 Превращает лог агента в фиксированную структуру Goal / Constraints / State / Decisions / Next.
• ✅ В State различает [done], [failed] и [planned], сохраняя точные ошибки, пути и команды.
• 📌 Chat template сам добавляет system prompt, few-shot пример и оборачивает вход в <trace> tags.
• 📚 Подходит для памяти между сессиями, извлечения незавершённых ошибок и компактного контекста долгих workflow.
• ✨ LoRA rank 128 / alpha 128, адаптер слит в базовую модель; обучение — SFT.

📚 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "aksern/compctx-0.8b"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
prompt = tok.apply_chat_template([{"role":"user","content":trace}], tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

📍 Подробнее
Бенчмарков и требований к VRAM в карточке нет.
Обучение: SFT + LoRA (rank 128, alpha 128), веса слиты в text-only чекпойнт.
Ограничения: не general-purpose ассистент; точность зависит от трассы, при превышении контекста или output budget детали могут теряться.
Лицензия: OpenMDW-1.1; условия базовой Qwen3.5-0.8B тоже нужно проверять.