К содержимому
Другое

ARMS Kafka Workload Classifier

классификатор нагрузки кластера Apache Kafka

2 мин чтенияобновлено

Лёгкая модель на базе LogisticRegression из библиотеки scikit-learn (в связке со StandardScaler для нормализации признаков), которая определяет текущий режим работы кластера Apache Kafka по четырём системным метрикам. Она разделяет нагрузку на потоковую в реальном времени (REAL_TIME_EVENT_DRIVEN) и пакетную ресурсоёмкую (BATCH_DATA_INTENSIVE). Модель создана Nwaoghor Praise Chukunweiken в рамках магистерской диссертации как решающий модуль системы ARMS, чтобы при сбое брокера выбирать подходящую стратегию восстановления вместо единой жёсткой конфигурации. Пригодится DevOps-инженерам и разработчикам распределённых систем для экспериментов с адаптивным управлением брокерами сообщений.

Ключевые особенности

  • Работает всего по четырём входным метрикам из Prometheus: дисперсии частоты запросов и входящих сообщений, скорости записи на диск и объёму доступной памяти.
  • Инференс занимает менее 0,1 мс на CPU, а сама модель распространяется в виде двух компактных файлов формата joblib/pickle.
  • В паре с логикой ARMS при уверенности от 90% выбирает агрессивную ребалансировку (QUICK_REBALANCE) для real-time нагрузки или экономную (RESOURCE_OPTIMIZED) для пакетной, а в спорных случаях откатывается к плавной CONTROLLED_GRADUAL.
  • В открытом репозитории доступны готовый Docker-стек с Kafka, Prometheus и Grafana, скрипт inference.py и код для переобучения на собственных данных.

Что можно сделать

  • Встроить классификатор в пайплайн мониторинга Prometheus, чтобы автоматически переключать параметры ребалансировки брокеров Kafka при смене профиля трафика.
  • Переобучить модель с помощью скрипта train_model.py из репозитория на метриках собственного продакшн-кластера.

Пример

import joblib, pandas as pd
from huggingface_hub import hf_hub_download

repo = "nwaoghorpraise/arms-kafka-workload-classifier"
model = joblib.load(hf_hub_download(repo, "kafka_logistic_regression_model.pkl"))
scaler = joblib.load(hf_hub_download(repo, "kafka_feature_scaler.pkl"))

snapshot = pd.DataFrame([[96.19, 5.50e7, 235.35, 5.176e9]], columns=["request_rate_variance", "node_disk_write_bytes_total", "message_rate_variance", "node_memory_MemAvailable_bytes"])
print(model.predict_proba(scaler.transform(snapshot))[0])
ПодробнееAccuracy на отложенной выборке (600 сэмплов) — 0.9617, при 5-кратной кросс-валидации — 0.9677.
В составе ARMS сокращает среднее время восстановления для real-time нагрузки на 6,14 с (p < 0.001).
Обучена на 3000 синтетических снимках с одного 3-брокерного кластера в Docker; для продакшна рекомендуется дообучение на своих метриках.
Требуется scikit-learn версии 1.6.x; файлы сохранены в формате pickle.
Примеры
Обсудить Telegram 1

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # nwaoghorpraise/arms-kafka-workload-classifier
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download nwaoghorpraise/arms-kafka-workload-classifier --local-dir ~/models/arms-kafka-workload-classifier
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к arms-kafka-workload-classifier
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии arms-kafka-workload-classifier — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

nwaoghorpraise/arms-kafka-workload-classifier
Автор
nwaoghorpraise
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

01

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии