ARMS Kafka Workload Classifier
классификатор нагрузки кластера Apache Kafka
2 мин чтенияобновлено
Лёгкая модель на базе LogisticRegression из библиотеки scikit-learn (в связке со StandardScaler для нормализации признаков), которая определяет текущий режим работы кластера Apache Kafka по четырём системным метрикам. Она разделяет нагрузку на потоковую в реальном времени (REAL_TIME_EVENT_DRIVEN) и пакетную ресурсоёмкую (BATCH_DATA_INTENSIVE). Модель создана Nwaoghor Praise Chukunweiken в рамках магистерской диссертации как решающий модуль системы ARMS, чтобы при сбое брокера выбирать подходящую стратегию восстановления вместо единой жёсткой конфигурации. Пригодится DevOps-инженерам и разработчикам распределённых систем для экспериментов с адаптивным управлением брокерами сообщений.
Ключевые особенности
- Работает всего по четырём входным метрикам из Prometheus: дисперсии частоты запросов и входящих сообщений, скорости записи на диск и объёму доступной памяти.
- Инференс занимает менее 0,1 мс на CPU, а сама модель распространяется в виде двух компактных файлов формата joblib/pickle.
- В паре с логикой ARMS при уверенности от 90% выбирает агрессивную ребалансировку (
QUICK_REBALANCE) для real-time нагрузки или экономную (RESOURCE_OPTIMIZED) для пакетной, а в спорных случаях откатывается к плавнойCONTROLLED_GRADUAL. - В открытом репозитории доступны готовый Docker-стек с Kafka, Prometheus и Grafana, скрипт
inference.pyи код для переобучения на собственных данных.
Что можно сделать
- Встроить классификатор в пайплайн мониторинга Prometheus, чтобы автоматически переключать параметры ребалансировки брокеров Kafka при смене профиля трафика.
- Переобучить модель с помощью скрипта
train_model.pyиз репозитория на метриках собственного продакшн-кластера.
Пример
import joblib, pandas as pd
from huggingface_hub import hf_hub_download
repo = "nwaoghorpraise/arms-kafka-workload-classifier"
model = joblib.load(hf_hub_download(repo, "kafka_logistic_regression_model.pkl"))
scaler = joblib.load(hf_hub_download(repo, "kafka_feature_scaler.pkl"))
snapshot = pd.DataFrame([[96.19, 5.50e7, 235.35, 5.176e9]], columns=["request_rate_variance", "node_disk_write_bytes_total", "message_rate_variance", "node_memory_MemAvailable_bytes"])
print(model.predict_proba(scaler.transform(snapshot))[0])
Подробнее
Accuracy на отложенной выборке (600 сэмплов) — 0.9617, при 5-кратной кросс-валидации — 0.9677.В составе ARMS сокращает среднее время восстановления для real-time нагрузки на 6,14 с (p < 0.001).
Обучена на 3000 синтетических снимках с одного 3-брокерного кластера в Docker; для продакшна рекомендуется дообучение на своих метриках.
Требуется
scikit-learn версии 1.6.x; файлы сохранены в формате pickle.









Комментарии