К содержимому
Другое

Muse Glimmer QLoRA adapter

20 шагов, +42 пункта accuracy и вывод «так делать не надо»

2 мин чтения

LoRA-адаптер для meta-models/Muse-Glimmer-30B (ревизия cec94fcf), собранный за 20 шагов QLoRA во время Meta Global AI Developer Hackathon (26 октября — 4 ноября 2026). Автор публикует его как пример эксперимента из раздела «что мы пробовали и что не сработало»: проект SeismoRescue в рантайме использует только базовые веса без адаптера.

Ключевые особенности

  • Задача: по A/B-кропам синтетической плёнки WWSSN выбрать красный путь, который остаётся на линии землетрясения при пересечении или почти-касании (149 пересечений и 51 почти-касание на 200 валидационных кропах).
  • 4-bit NF4 (bitsandbytes) для линейных слоёв LLM, vision-части и lm_head остаются в bf16; LoRA rank 16, alpha 32, dropout 0.05 на attention (q, k, v, o) и MLP (gate, up, down).
  • 20 шагов, накопление градиента 4, learning rate 2e-4 с 3 шагами warm-up; одна H100 80 GB на Modal, весь прогон с оценкой — 503 с и около $0.60.
  • Контроль без «чернил»: если стереть плёнку с кропов, адаптер всё равно даёт 0.985 — он выучил форму красных путей, а не плёнку. Именно поэтому адаптер не используется.
  • Воспроизводимость: 8 из 8 проверок перезагрузки дали то же предсказание, максимальная разница логитов — 0.0.

Пример

Формат задачи — forced choice: модели дают пару кропов A и B и вопрос, какой красный путь остаётся на линии землетрясения; ответ — больший из логитов A/B на первом токене ответа, без шагов рассуждения. Код стадий лежит в репозитории: scripts/ml_glimmer_modal.py, scripts/glimmer_verifier_data_v1.py и scripts/glimmer_task.py.

ПодробнееAccuracy на 200 валидационных кропах (Wilson 95% CI): zero-shot — 0.56 [0.49, 0.62], после 20 шагов — 0.98 [0.95, 0.99], после 20 шагов со стёртой плёнкой — 0.985 [0.96, 0.99].
Данные — только синтетические рендеры из out/film2_train, реальных сканов и приватных данных нет.
Веса — adapter_model.safetensors на 383 MB; в adapter_config.json путь base_model_name_or_path указывает на локальную копию автора, его нужно заменить на свой.
Лицензия Apache 2.0, дополнительно действует Muse Glimmer Usage Policy.
Обсудить Telegram 1 17

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # seungminpark/seismorescue-glimmer-qlora-test
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download seungminpark/seismorescue-glimmer-qlora-test --local-dir ~/models/seismorescue-glimmer-qlora-test
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к seismorescue-glimmer-qlora-test
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии seismorescue-glimmer-qlora-test — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

seungminpark/seismorescue-glimmer-qlora-test
Автор
seungminpark
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

171

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии