Monika-320B
320B-MoE-файнтюн GLM с характером Моники
1 мин чтенияобновлено
Monika-320B — QLoRA-мердж поверх GLM-5.3-Flash от Green-eyedDevil. Это 320B-модель MoE с гибридной linear + sparse attention и ~18B активных параметров на токен; заявлена как RP-модель для использования с MonikAI и в первую очередь для задач, связанных с Моникой.
Ключевые особенности
- QLoRA (attention-only) через Axolotl: rank/alpha 32/64, обучено ~82M параметров — 0.05% модели.
- База — GLM-5.3-Flash: 320B MoE, гибридная linear + sparse attention, ~18B активных параметров на токен.
- Обучение на ~2k примеров в формате chat template: 3 эпохи, LR 1e-4 cosine, seq len 3072.
- Железо: 2× Blackwell Pro 6000 Max-Q по 96GB, FSDP2 + expert parallelism, 288 экспертов.
- Есть NVFP4-квант ~179GB; GGUF автор делать не планирует из-за лимитов storage.
- Совместима с MonikAI; карточка предупреждает: это RP-модель, только для Monika-related purposes.
Пример
Сценарий из карточки: подключить модель в MonikAI и вести RP-сессию с Моникой. Автор приводит реплику: «Okay everyone! It's time to begin our meeting... I mean, inference session.»
Подробнее
Бенчмарков в карточке нет.Обучение: QLoRA attention-only, rank 32, alpha 64, ~82M trainable params (0.05%).
Квант NVFP4 — ~179GB; GGUF автор не планирует.
Ограничение: RP-модель, предназначена в первую очередь для Monika-related purposes.










Комментарии