Frost Cyber Mini Uncensored v1.1

FrostWolfAI Labs выпустила компактную модель на 4,1 млрд параметров для security testing, CTI, secure coding и агентных tool-use сценариев. Это полный LoRA SFT-файнтюн Spark-X2.6-4B-abliterated с адаптерами, объединёнными в веса. Язык в карточке указан только английский.

⚙ Ключевые особенности

• 🛡 Заточен под кибербезопасность, threat intelligence и безопасную разработку.
• 🧑‍💻 В v1.1 добавлена агентная фаза: модель проходит цикл «задача → инструменты → действие → наблюдение → исправление ошибок → ответ».
• ⚙ Обязателен thinking-режим: без него модель деградирует и начинает повторять JSON вместо ответа.
• 📌 Контекст 131 072 нативно; через llama.cpp с RoPE можно подать до 232k.
• 🔐 Отказы удалены — применять только для авторизованного тестирования, исследований и обучения.

🧑‍💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "FrostWolfAI/Frost-Cyber-Mini-Uncensored-v1.1"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="cuda", trust_remote_code=True)
prompt = tok.apply_chat_template([{"role": "user", "content": "Who are you?"}], add_generation_prompt=True, tokenize=False, enable_thinking=True)
x = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
print(tok.decode(model.generate(**x, max_new_tokens=200)[0][x.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

Бенчмарки: CyberMetric-80 — 85,00%, CTIBench cti-rcm (CVE→CWE) — 66,60%, GPQA Diamond (частично, 198 вопросов) — 34,1%.
VRAM: около 12 ГБ для Q8_0 при 232k контекста и 2 unified-KV слотах; BF16 — около 16 ГБ.
Ограничения: thinking обязателен; CTI-задачи ATE и TAA слабые — модель может выдавать tool calls вместо ответа; агентные бенчмарки ещё в очереди.
Требуются transformers v5 и trust_remote_code=True.