К содержимому
Другое

LORTrace LoRA adapters

набор адаптеров для поиска аномалий в данных

2 мин чтенияобновлено

Набор из девяти LoRA (лёгких надстроек над базовыми моделями) от автора arashlove для обнаружения аномалий на австралийском энергетическом рынке AEMO NSW1. Адаптеры обучены методом предсказания следующего токена без учителя на сериализованных временных окнах данных и позволяют получать оценки аномальности для событий дефицита резервов мощности (LOR). Релиз охватывает сразу девять популярных открытых базовых моделей в 4-битном квантовании (сжатии для экономии памяти) — от компактной SmolLM2-135M до 7-миллиардных Mistral-7B и Cosmos-Reason1-7B. Решение пригодится исследователям временных рядов, аналитикам энергетического сектора и разработчикам, тестирующим языковые модели в задачах поиска выбросов.

Ключевые особенности

  • 9 базовых моделей на выбор: адаптеры подготовлены для SmolLM2-135M, gemma-3-270m, SmolLM2-360M, Qwen2.5-0.5B, Qwen2.5-1.5B, SmolLM-1.7B, gemma-2-2b, mistral-7b-v0.3 и Cosmos-Reason1-7B.
  • Готовность к работе с PEFT: каждая папка содержит веса адаптера, токенизатор и логи метрик обучения training_metrics.json (кроме варианта для mistral-7b-v0.3).
  • Работа с 4-bit базами: все надстройки рассчитаны на 4-битные чекпоинты от unsloth, которые автоматически подгружаются при инициализации.
  • Единая конфигурация обучения: все 9 моделей дообучались с одинаковыми гиперпараметрами, что удобно для честного сравнения влияния размера модели на качество детекции аномалий.

Что можно сделать

  • Воспроизвести исследование LORTrace: рассчитать оценки аномальности на данных энергорынка AEMO NEM из одноимённого датасета автора.
  • Сравнить модели разных масштабов: проверить, насколько компактные LLM на 135M–360M параметров уступают моделям на 2B–7B в задачах анализа табличных и временных данных.
  • Адаптировать пайплайн под свои временные ряды: использовать конфигурацию сериализации и параметры LoRA как отправную точку для поиска сбоев в промышленной телеметрии или финансовых потоках.

Пример

uv run python scripts/download_assets.py --weights
uv run python scripts/reproduce.py --mode rescore --models gemma-3-270m
ПодробнееКонфигурация LoRA: r=16, alpha=16, dropout 0, целевые модули q, k, v, o, gate, up, down_proj, максимальная длина контекста 4096.
Обучение: 20 000 окон данных AEMO NSW1 (2015–2021 гг.), 300 шагов, эффективный батч 8, оптимизатор AdamW 8-bit, lr 2e-4.
Лицензии: адаптеры наследуют условия базовых моделей (Apache-2.0 для Qwen, SmolLM и Mistral; Gemma Terms of Use для Gemma; NVIDIA Open Model License для Cosmos-Reason1-7B). Датасет распространяется по CC BY 4.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # arashlove/lortrace-adapters
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download arashlove/lortrace-adapters --local-dir ~/models/lortrace-adapters
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к lortrace-adapters
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии lortrace-adapters — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

arashlove/lortrace-adapters
Автор
arashlove
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

TinyAya IDK

TinyAya IDK