Qwen3.8-Flash-Next-oQ3e-mtp
180B в 86 ГиБ для MLX
2 min read
Это квантованный чекпоинт модели на 180 млрд параметров, подготовленный для MLX. Автор сжал веса смешанной точностью через oQ (oMLX v0.7.4.dev1): средний эффективный размер — 3,762 бита/вес без N-gram-таблицы и 4,114 бита/вес для всего чекпоинта. Итоговый чекпоинт занимает 86,213 ГиБ; основная доля весов хранится в affine 3-bit group 64 и N-gram affine 4-bit group 32. Отдельно выделены языковая модель, N-gram embedding, Vision и MTP head — по карточке это компактный вариант для экспериментов с большой моделью в MLX.
Ключевые особенности
- Смешанная точность oQ: 3,762 бита/вес без N-gram-таблицы, 4,114 бита/вес всего чекпоинта.
- 180B-чекпоинт занимает 86,213 ГиБ на диске.
- Основные веса: affine 3-bit group 64 (67,109% логических весов) и N-gram affine 4-bit group 32 (28,445%).
- В составе есть Vision-блок на 0,449B и MTP head на 2,607B.
- Есть отдельный fp16-вариант того же релиза для сравнения.
Что можно сделать
- Загрузить чекпоинт в MLX/oMLX и проверить работу 180B-модели с достаточным объёмом памяти.
- Сравнить этот mixed-precision вариант с fp16-версией scottlowry/Qwen3.8-Flash-Next-oQ3e-fp16-mtp по размеру и поведению.
- Разобрать состав чекпоинта: языковая модель, N-gram embedding, Vision и MTP head.
- Использовать как пример распределения битов при квантовании очень большой модели через oQ.
Пример
Пример сценария: в oMLX загрузите чекпоинт и сравните распределение битов с fp16-вариантом. Ориентир из карточки — 86,213 ГиБ хранилища и 4,114 бита/вес для полного чекпоинта.
Подробнее
Средний эффективный размер: 3,762 бита/вес без N-gram-таблицы, 4,114 бита/вес всего чекпоинта.Хранилище: 86,213 ГиБ; языковая модель — 54,165 ГиБ, N-gram embedding — 29,802 ГиБ.
В карточке нет бенчмарков, описания языков и базовой модели — только параметры квантования и состав чекпоинта.










Comments