token-compression-log-reader
анализ серверных логов со сжатием токенов
2 min readupdated
Это LoRA (небольшая надстройка над базовой моделью) для Qwen3-1.7B от автора Garnet-Owl, которая отвечает на вопросы по серверным логам в компактном шаблонном формате. Сжатие без потерь выносит повторяющуюся структуру строк в единый шаблон, благодаря чему промпт занимает примерно на 25% меньше токенов. В отличие от базовой Qwen3-1.7B, которая на сжатых логах даёт лишь 16% правильных ответов, адаптер достигает 73% точности даже без поясняющей легенды в промпте. Модель пригодится разработчикам и исследователям, которые экспериментируют с экономией контекста при работе с большими объёмами структурированных логов.
Ключевые особенности
- Снижает расход токенов на промпт примерно на 25% за счёт шаблонизации повторяющихся строк лога.
- Сохраняет высокую точность поиска конкретных запросов (100%) и максимальных значений длительности (90%).
- Работает со сжатыми данными напрямую без передачи легенды-расшифровки в контекст.
- Лёгкая архитектура: около 35 млн обучаемых параметров поверх компактной модели Qwen3-1.7B.
Что можно сделать
- Встроить в экспериментальный пайплайн разбора логов, чтобы быстрее находить статус-коды и время ответа по
request_id. - Использовать как референс для обучения собственных адаптеров под нестандартные форматы журналов событий и экономии токенов в LLM.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "Qwen/Qwen3-1.7B"
tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "Garnet-Owl/token-compression-log-reader").eval()Подробнее
Точность на тесте из 150 логов (30 строк): 73% на сжатых логах (1 090 токенов) против 16% у базовой Qwen3-1.7B с легендой.Обучение: 1 470 синтетических вопросов (80% сжатых, 20% исходных логов), LoRA rank 32, alpha 64, 44 минуты на одной GPU T4 16 ГБ.
Ограничения: слабая точность при подсчёте количества строк (31% на сжатых логах); обучена на одном синтетическом формате, это исследовательский прототип.










Comments