LORTrace LoRA adapters
набор адаптеров для поиска аномалий в данных
2 мин чтенияобновлено
Набор из девяти LoRA (лёгких надстроек над базовыми моделями) от автора arashlove для обнаружения аномалий на австралийском энергетическом рынке AEMO NSW1. Адаптеры обучены методом предсказания следующего токена без учителя на сериализованных временных окнах данных и позволяют получать оценки аномальности для событий дефицита резервов мощности (LOR). Релиз охватывает сразу девять популярных открытых базовых моделей в 4-битном квантовании (сжатии для экономии памяти) — от компактной SmolLM2-135M до 7-миллиардных Mistral-7B и Cosmos-Reason1-7B. Решение пригодится исследователям временных рядов, аналитикам энергетического сектора и разработчикам, тестирующим языковые модели в задачах поиска выбросов.
Ключевые особенности
- 9 базовых моделей на выбор: адаптеры подготовлены для
SmolLM2-135M,gemma-3-270m,SmolLM2-360M,Qwen2.5-0.5B,Qwen2.5-1.5B,SmolLM-1.7B,gemma-2-2b,mistral-7b-v0.3иCosmos-Reason1-7B. - Готовность к работе с PEFT: каждая папка содержит веса адаптера, токенизатор и логи метрик обучения
training_metrics.json(кроме варианта дляmistral-7b-v0.3). - Работа с 4-bit базами: все надстройки рассчитаны на 4-битные чекпоинты от
unsloth, которые автоматически подгружаются при инициализации. - Единая конфигурация обучения: все 9 моделей дообучались с одинаковыми гиперпараметрами, что удобно для честного сравнения влияния размера модели на качество детекции аномалий.
Что можно сделать
- Воспроизвести исследование LORTrace: рассчитать оценки аномальности на данных энергорынка AEMO NEM из одноимённого датасета автора.
- Сравнить модели разных масштабов: проверить, насколько компактные LLM на 135M–360M параметров уступают моделям на 2B–7B в задачах анализа табличных и временных данных.
- Адаптировать пайплайн под свои временные ряды: использовать конфигурацию сериализации и параметры LoRA как отправную точку для поиска сбоев в промышленной телеметрии или финансовых потоках.
Пример
uv run python scripts/download_assets.py --weights
uv run python scripts/reproduce.py --mode rescore --models gemma-3-270m
Подробнее
Конфигурация LoRA: r=16, alpha=16, dropout 0, целевые модули q, k, v, o, gate, up, down_proj, максимальная длина контекста 4096.Обучение: 20 000 окон данных AEMO NSW1 (2015–2021 гг.), 300 шагов, эффективный батч 8, оптимизатор AdamW 8-bit, lr 2e-4.
Лицензии: адаптеры наследуют условия базовых моделей (Apache-2.0 для Qwen, SmolLM и Mistral; Gemma Terms of Use для Gemma; NVIDIA Open Model License для Cosmos-Reason1-7B). Датасет распространяется по CC BY 4.0.










Комментарии