Cyber Qwen3-8B Agent

PEFT LoRA-адаптер от remix3030303 поверх Qwen/Qwen3-8B. Модель дообучена для авторизованного security-тестирования, защитного анализа, secure coding, incident response и проверки уязвимостей. Настроена не заявлять об уязвимости без подтверждающих данных и выдавать структурированные tool calls в агентных циклах.

🔥 Ключевые особенности

• ✅ Ставится как LoRA-адаптер на Qwen/Qwen3-8B, а не как отдельная полная модель.
• 📚 Обучена на cybersecurity-инструкциях, CTI-записях (CVE, CWE, ATT&CK, CAPEC), tool-use траекториях и multi-turn расследованиях.
• ✅ Есть примеры неоднозначности и false-positive, чтобы модель была evidence-calibrated.
• 📚 Небольшая general-instruction примесь для снижения catastrophic forgetting.
• 🍓 Для Apple Silicon есть отдельная MLX 4-bit merged сборка.

💻 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3-8B', torch_dtype=torch.float16, device_map='auto')
model = PeftModel.from_pretrained(base, 'remix3030303/cyber-qwen3-8b-agent-lora')
tok = AutoTokenizer.from_pretrained('remix3030303/cyber-qwen3-8b-agent-lora')

Подробнее

Обучение: QLoRA SFT, 1 эпоха, 1073 шага, 2× NVIDIA T4; финальный loss 0.874, token accuracy около 77%.
Контекст при обучении — до 2048 токенов; поведение на длинном контексте не тестировалось.
Формальных бенчмарков нет; датасет не опубликован, лицензии источников могут отличаться.
Не заменяет security-специалиста: выводы и детали CVE нужно проверять независимо. Лицензия — Apache-2.0.