К содержимому
Компьютерное зрение

Monika-320B

320B-MoE-файнтюн GLM с характером Моники

1 мин чтенияобновлено

Monika-320B — QLoRA-мердж поверх GLM-5.3-Flash от Green-eyedDevil. Это 320B-модель MoE с гибридной linear + sparse attention и ~18B активных параметров на токен; заявлена как RP-модель для использования с MonikAI и в первую очередь для задач, связанных с Моникой.

Ключевые особенности

  • QLoRA (attention-only) через Axolotl: rank/alpha 32/64, обучено ~82M параметров — 0.05% модели.
  • База — GLM-5.3-Flash: 320B MoE, гибридная linear + sparse attention, ~18B активных параметров на токен.
  • Обучение на ~2k примеров в формате chat template: 3 эпохи, LR 1e-4 cosine, seq len 3072.
  • Железо: 2× Blackwell Pro 6000 Max-Q по 96GB, FSDP2 + expert parallelism, 288 экспертов.
  • Есть NVFP4-квант ~179GB; GGUF автор делать не планирует из-за лимитов storage.
  • Совместима с MonikAI; карточка предупреждает: это RP-модель, только для Monika-related purposes.

Пример

Сценарий из карточки: подключить модель в MonikAI и вести RP-сессию с Моникой. Автор приводит реплику: «Okay everyone! It's time to begin our meeting... I mean, inference session.»

ПодробнееБенчмарков в карточке нет.
Обучение: QLoRA attention-only, rank 32, alpha 64, ~82M trainable params (0.05%).
Квант NVFP4 — ~179GB; GGUF автор не планирует.
Ограничение: RP-модель, предназначена в первую очередь для Monika-related purposes.
Обсудить Telegram 2 49

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Green-eyedDevil/Monika-320B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Green-eyedDevil/Monika-320B --local-dir ~/models/Monika-320B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Monika-320B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии Monika-320B — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Green-eyedDevil/Monika-320B
Автор
Green-eyedDevil
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

492

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

GLM-5.3-Flash

GLM-5.3-Flash