hdfs-line-anomaly-Mistral-7B-v0.3-qlora
поиск аномалий в логах HDFS
2 мин чтенияобновлено
Специализированный адаптер на базе Mistral-7B-v0.3, который умеет находить сбои и аномалии в отдельных строках логов распределённой файловой системы HDFS. Модель представляет собой QLoRA (метод дообучения больших нейросетей со сжатием весов в 4 бита для экономии видеопамяти) с классификационной головой от автора Dumi2025. Главная особенность подхода — анализ каждой строки не в отрыве от реальности, а в паре со сводкой по всему блоку логов, что радикально повышает точность. Инструмент пригодится DevOps-инженерам, специалистам по мониторингу инфраструктуры и исследователям, работающим с автоматическим анализом системных журналов.
Ключевые особенности
- Контекст всего блока: на вход подаётся пара из конкретной строки лога и краткой сводки сообщений всего блока (например,
3x message ; ...), что поднимает метрику ROC-AUC с 0.5142 до 0.9753 по сравнению с оценкой изолированных строк. - Экономичный формат 4-bit NF4: веса базовой модели сжаты до 4 бит с вычислениями в bf16, что снижает требования к VRAM при запуске.
- Унификация переменных: перед подачей в модель идентификаторы блоков, IP-адреса и длинные числа заменяются на токены
BLK,IPиN. - Бинарная классификация: модель возвращает метку
0(норма) или1(аномалия) с порогом срабатывания0.5000, прописанным вanomaly_config.json.
Что можно сделать
- Автоматизировать триаж инцидентов: встроить модель в пайплайн обработки логов Hadoop/HDFS для подсветки проблемных строк при сбоях кластера.
- Фильтровать шум в мониторинге: использовать высокий показатель полноты (Recall 0.9016), чтобы не пропускать реальные аномалии в больших потоках событий.
- Дообучить под свои логи: взять этот QLoRA-адаптер и методику формирования сводки блока за основу для классификации журналов других распределённых систем.
Пример
from peft import AutoPeftModelForSequenceClassification
model = AutoPeftModelForSequenceClassification.from_pretrained(
"Dumi2025/hdfs-line-anomaly-Mistral-7B-v0.3-qlora",
quantization_config=quantization_config
)
Подробнее
Метрики (кросс-валидация по блокам, фолды 1–4 из 5): ROC-AUC — 0.9753, F1 (аномалии) — 0.5344 (95% ДИ: [0.5026, 0.5643]), Precision — 0.3798, Recall — 0.9016.Обучение: 2 эпохи на 20 000 блоков из датасета LogHub HDFS_v1 (effective batch 16, lr 0.0001).
Параметры адаптера: QLoRA r=64, alpha=128; обучалось на NVIDIA H100 80GB HBM3.










Комментарии