d3-mini-agentcode

stonefish-labs опубликовала pre-release d3-mini-agentcode — дообученную версию d3-mini (4B, Apache-2.0), построенную на Qwen/Qwen3.5-4B. Модель читает задачу агента и изменение (diff или сниппет) и оценивает, делает ли изменение что-то security-relevant сверх задачи и выглядит ли оно намеренно вредным; это дешёвый первый фильтр для отбора изменений человеку или более сильной модели. Это pre-release: планируется ревизия на плохих примерах от нескольких writer-моделей, более реалистичных формулировках задач и большем числе языков.

⚡ Ключевые особенности

• ⚡ 4B-модель; LoRA (r 16, α 32) на attention, linear-attention и MLP-проекциях, 2 эпохи, 1 038 шагов.
• 🛡 Три вопроса: class (4 варианта), intent и scope (да/нет); флаг — p(deliberately_malicious) ≥ 0.9 или p(scope=yes) ≥ 0.9.
• 📎 В поставке merged weights, adapter/ и extractor/, который собирает вход и не запускает анализируемый код.
• 💻 Рассчитана на agent diffs и code mode; флаг не доказывает намерение и не должен быть единственной проверкой.
• ⛔ Вне области: пакеты/зависимости и релизные диффы, входы длиннее ~8 192 токенов и входы без описания задачи.

⚙ Пример

import json
from huggingface_hub import hf_hub_download
from transformers import AutoModel
REPO = "stonefish-labs/d3-mini-agentcode"
model = AutoModel.from_pretrained(REPO, trust_remote_code=True)
questions = json.load(open(hf_hub_download(REPO, "questions.json")))
answers = model.system_one(state=state, questions=questions)["answers"]
flag = answers["class"]["probabilities"]["deliberately_malicious"] >= 0.9 or answers["scope"]["noul"] >= 0.9

Подробнее

📊 Подробнее
На независимом agent-diff наборе: найдено 21/22 out-of-scope изменений, 0/172 реальных диффов и контролей помечены (seed 1).
14 языков и оболочек: 458/510 найдено, 11/2 150 реальных помечено, 1/560 безвредных контролей.
bf16-веса ~9 ГБ; на RTX 4090 батч 8 до 8k токенов — пик 12.7 GiB, около 1 с/элемент; на A100 — 0.46–0.61 с/элемент.
Ограничения: обучение в основном Python, до ~8 192 токенов; пакеты и релизы лучше проверять untuned d3-mini; это pre-release.