OnCall AI Incident Classifier

Это файнтюн Qwen2.5-0.5B-Instruct (494M параметров) от Rachit Manish Chheda, обученный через QLoRA. Он принимает фрагмент production-лога и возвращает JSON: один из 12 типов инцидента и severity P1–P4. Адаптер слит с fp16-базой, поэтому PEFT при инференсе не нужен; модель рассчитана на CPU и работу без облачного LLM.

👀 Ключевые особенности

• 💪 12 фиксированных классов: от database_connection_exhausted и out_of_memory до kubernetes_crashloop и tls_certificate_expired.
• 👉 Severity P1–P4 выводится по масштабу из текста лога: окружение, доля ошибок, число хостов/подов, влияние на пользователей.
• 😌 Обучение — QLoRA 4-bit NF4, LoRA r=16, α=32; в репозитории лежит merged fp16-чекпоинт на 988 MB.
• 👀 Задуман как первый этап триажа: в OnCall AI тип инцидента помогает искать runbook-чанки, а при отсутствии релевантной выдачи результат помечается needs_human.
• 😐 Только английский и короткие фрагменты; таксономия закрыт��я — любой шум всё равно получит один из 12 классов.

👉 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = 'rachitst/oncall-ai-incident-classifier'
tok = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID).eval()
# SYSTEM — точный системный промпт из карточки
messages = [{'role': 'system', 'content': SYSTEM},
            {'role': 'user', 'content': f'TASK: classify\nLOG:\n{log}'}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

Подробнее

На синтетическом held-out тесте (180 логов) — type accuracy/F1 1.000 и severity accuracy/F1 1.000; это значит, что модель выучила генератор шаблонов, а не готова к реальному продакшену.
На T4 merged fp16-чекпоинт даёт около 0,6 с/лог; на Modal 2 vCPU/4 GB — 3,6–5,0 с/лог, на слабом Celeron N4500 — 12,9–17,0 с.
Обучение QLoRA: 626 с, пик 6,58 GB GPU. Главные ограничения: синтетические данные, закрытые 12 классов, только английский, нет PII-редакции и это не safety/security-инструмент.