light-alpha-moe-4b
конвертация Qwen3-4B-Base в MoE без потери качества
2 min readupdated
Это исследовательский артефакт, который превращает плотную (dense) модель Qwen/Qwen3-4B-Base в архитектуру MoE (Mixture-of-Experts — смесь экспертов) на нулевом шаге без дообучения. Автор применил метод репликации ко всем 36 слоям: исходный MLP-блок продублирован в три идентичных маршрутизируемых эксперта и два общих (shared) эксперта с обнулённой проекцией down_proj. На выходе модель ведёт себя идентично базовой 4B-модели в пределах погрешности fp16, но уже готова к экспериментам по обучению роутера. Пригодится исследователям и инженерам, изучающим методы upcycling (перевод плотных моделей в разреженные) и механизмы маршрутизации токенов.
Ключевые особенности
- Репликация всех 36 слоёв: в каждом слое созданы 3 маршрутизируемых эксперта (expert 0 заморожен, 1–2 — точные копии) и 2 общих эксперта с нулевым выходом на старте.
- Минимальное число обучаемых весов: из 14,78 млрд общих параметров разморожены только 276 588 весов роутеров (
Linear(2560→3)в fp32). - Подтверждённый паритет с базой: при выборе top-2 экспертов отклонение лосса от исходной dense-модели составляет всего 0.00193, а точность на контрольных задачах совпадает.
- Полная проверка целостности: верификация через
torch.equal, проверка на нули в shared-экспертах и контроль sha256 для всех 37 файлов весов.
Что можно сделать
- Изучать обучение роутеров: использовать артефакт как чистую отправную точку (step-0) для тренировки маршрутизации на собственном датасете без искажений на старте.
- Тестировать алгоритмы балансировки: проводить эксперименты с распределением нагрузки между экспертами на базе современной архитектуры Qwen3-4B.
Пример
Сценарий запуска из документации: модель не загружается через стандартный from_pretrained из-за кастомной обвязки MoE — для инициализации весов и маршрутизации используется скрипт проекта load_release.py в связке с библиотекой transformers, а схема слоёв описана в блоке moe_replicated внутри config.json.
Подробнее
Бенчмарк паритета (n=180, greedy, fp16): на закрытой выборке (120 задач) модель показала 119/120 против 119/120 у базы (Δ +0.00pp, McNemar p=1.0); на диагностическом срезе GSM8K (60 задач) — 43/60 против 44/60 (Δ −1.67pp).Размер весов: 27.53 GiB (37 шардов safetensors в fp16 + роутеры в fp32), 14 781 134 444 параметра.
Ограничения: прироста интеллекта или рассуждений нет, модель ведёт себя как 4B-база, но требует примерно в 4 раза больше вычислений на токен (активируются 2 эксперта на слой). Лицензия Apache-2.0.










Comments