Языковые моделиiBimo-o
Bimo-7B-CyberAgent
агент по кибербезопасности на базе Qwen2.5-Coder
2 мин чтения
Bimo-7B-CyberAgent — merged-файнтюн Qwen2.5-Coder-7B-Instruct от Saim Azam (iBimo-o) для defensive security: триаж уязвимостей, авторизованное ревью кода и сетей, многошаговый tool use и длинные входы. 7.62B параметров, BF16, архитектура Qwen2, контекст 32 768 токенов через YaRN, лицензия Apache 2.0.
👀 Ключевые особенности
- 🔥 Четыре стадии QLoRA (4-bit NF4, rank 16, alpha 32), каждая вмерджена в базу: cybersecurity SFT на 53 201 паре → агентные траектории SWE-Bench → Hermes function-calling → YaRN 8k→32k
- 👉 Строгие JSON tool calls в формате
<tool_call>/<tool_response>, в трейсах также<scratchpad>,<action>,<observation> - 💪 Автономный цикл: план → вызов инструмента → чтение результата → продолжение
- 🐱 Окно 32k под многофайловые репозитории, дизассемблер и текстовые логи
- 😐 Заточен на defensive-аудит: CVE-триаж и secure-code review с письменным выводом, а не готовый эксплойт
💸 Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "iBimo-o/Bimo-7B-CyberAgent"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "You are authorized to review this lab host only. List exposed SSH and HTTP services and the hardening step for each."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.8)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))Подробнее
Бенчмарки: MMLU Computer Security 73.00% против 64.00% у базы (+9.00), MMLU Social Sciences 72.06% (+3.64), MMLU STEM 58.40% (−1.40), action_rate 89.50% против ~12.50%; GSM8K просел до 56.80%, ARC-Challenge 48.80%.Железо: BF16 требует около 16 ГБ памяти ускорителя, 4-bit хватит для карты поменьше.
Ограничения: выдумывает CVE, версии и флаги; качество за пределами 8 192 токенов неравномерно; только для систем, которые вам разрешено проверять.
Комментарии