К содержимому
Другое

CyberMind-4B-GGUF

локальный ИИ-аналитик для задач кибербезопасности

2 мин чтенияобновлено

Модель представляет собой специализированный файнтюн на базе Qwen2.5-3B-Instruct от автора Srihari2020, адаптированный для работы на локальном оборудовании в формате GGUF. Она настроена для выполнения роли аналитика SOC (Security Operations Center — центра мониторинга информационной безопасности) уровня Tier-3 и помогает разбирать логи угроз. При анализе модель строго придерживается двухэтапной структуры: сначала проводит базовый разбор инцидента (Phase 1: Core Analysis), а затем предлагает тактические меры по устранению проблемы (Phase 2: Tactical Mitigation). В отличие от исходной Qwen2.5-3B-Instruct, версия обучена специально под стандартизированный формат отчётности без примеси данных для программирования и, по замерам автора, быстрее формирует ответ при разборе логов. Инструмент пригодится специалистам по информационной безопасности, которым нужен компактный приватный ассистент для первичной обработки событий безопасности.

Ключевые особенности

  • Строгая двухфазная структура ответа: разделение на анализ сути угрозы и конкретные шаги по её нейтрализации.
  • Обучение с помощью SFT (Supervised Fine-Tuning) на 2 485 инструкциях, составленных на основе баз CISA KEV и MITRE ATT&CK.
  • Высокая скорость работы и соблюдение формата: в тестах автора модель показала 100% следование заданной структуре вывода.
  • Оптимизация под локальный запуск: использована 4-битная квантизация NF4 и фреймворк Unsloth, поддерживается окно контекста 8192 токена.

Что можно сделать

  • Развернуть приватного ассистента для анализа логов безопасности и триажа инцидентов без отправки данных во внешние облачные API.
  • Интегрировать модель в локальный контур через Ollama с использованием готового Modelfile из репозитория для автоматизации отчётов SOC.

Пример

git lfs install
git clone [https://huggingface.co/Srihari2020/CyberMind-4B-GGUF](https://huggingface.co/Srihari2020/CyberMind-4B-GGUF)
ollama create cybermind-4b -f CyberMind-4B-GGUF/Modelfile
ollama run cybermind-4b
ПодробнееБенчмарки (на NVIDIA RTX 5060): 100.0% соблюдение формата, средняя задержка 2.04 с на один лог (+60.4% к скорости или на 3.12 с быстрее базовой Qwen2.5).
Параметры обучения: LoRA (rank r = 16, lora_alpha = 32), квантизация 4-bit (NF4), фреймворк Unsloth, контекстное окно 8192.
Ограничения: в обучающую выборку намеренно не включались данные по написанию кода, упор сделан только на анализ угроз и структурированные ответы; язык карточки — английский.
Обсудить Telegram 1 92

Запустится ли?

Запустится в GGUF Q4_K_M

Влезает самая точная из готовых сжатых версий.

  • GGUF Q4_K_Mвеса 1.8 GB · готовые файлы2.5 GB

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: GGUF Q4_K_M — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Srihari2020/CyberMind-4B-GGUF
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Srihari2020/CyberMind-4B-GGUF --local-dir ~/models/CyberMind-4B-GGUF
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к CyberMind-4B-GGUF
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии CyberMind-4B-GGUF — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Srihari2020/CyberMind-4B-GGUF
Автор
Srihari2020
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

921

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

Kronos-FT

Kronos-FT