К содержимому
Другое

light-alpha-moe-4b

конвертация Qwen3-4B-Base в MoE без потери качества

2 мин чтенияобновлено

Это исследовательский артефакт, который превращает плотную (dense) модель Qwen/Qwen3-4B-Base в архитектуру MoE (Mixture-of-Experts — смесь экспертов) на нулевом шаге без дообучения. Автор применил метод репликации ко всем 36 слоям: исходный MLP-блок продублирован в три идентичных маршрутизируемых эксперта и два общих (shared) эксперта с обнулённой проекцией down_proj. На выходе модель ведёт себя идентично базовой 4B-модели в пределах погрешности fp16, но уже готова к экспериментам по обучению роутера. Пригодится исследователям и инженерам, изучающим методы upcycling (перевод плотных моделей в разреженные) и механизмы маршрутизации токенов.

Ключевые особенности

  • Репликация всех 36 слоёв: в каждом слое созданы 3 маршрутизируемых эксперта (expert 0 заморожен, 1–2 — точные копии) и 2 общих эксперта с нулевым выходом на старте.
  • Минимальное число обучаемых весов: из 14,78 млрд общих параметров разморожены только 276 588 весов роутеров (Linear(2560→3) в fp32).
  • Подтверждённый паритет с базой: при выборе top-2 экспертов отклонение лосса от исходной dense-модели составляет всего 0.00193, а точность на контрольных задачах совпадает.
  • Полная проверка целостности: верификация через torch.equal, проверка на нули в shared-экспертах и контроль sha256 для всех 37 файлов весов.

Что можно сделать

  • Изучать обучение роутеров: использовать артефакт как чистую отправную точку (step-0) для тренировки маршрутизации на собственном датасете без искажений на старте.
  • Тестировать алгоритмы балансировки: проводить эксперименты с распределением нагрузки между экспертами на базе современной архитектуры Qwen3-4B.

Пример

Сценарий запуска из документации: модель не загружается через стандартный from_pretrained из-за кастомной обвязки MoE — для инициализации весов и маршрутизации используется скрипт проекта load_release.py в связке с библиотекой transformers, а схема слоёв описана в блоке moe_replicated внутри config.json.

ПодробнееБенчмарк паритета (n=180, greedy, fp16): на закрытой выборке (120 задач) модель показала 119/120 против 119/120 у базы (Δ +0.00pp, McNemar p=1.0); на диагностическом срезе GSM8K (60 задач) — 43/60 против 44/60 (Δ −1.67pp).
Размер весов: 27.53 GiB (37 шардов safetensors в fp16 + роутеры в fp32), 14 781 134 444 параметра.
Ограничения: прироста интеллекта или рассуждений нет, модель ведёт себя как 4B-база, но требует примерно в 4 раза больше вычислений на токен (активируются 2 эксперта на слой). Лицензия Apache-2.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # qubixal/light-alpha-moe-4b
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download qubixal/light-alpha-moe-4b --local-dir ~/models/light-alpha-moe-4b
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к light-alpha-moe-4b
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии light-alpha-moe-4b — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

qubixal/light-alpha-moe-4b
Автор
qubixal
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Языковые модели

SMART VET

SMART VET