AREX-2-oQ5e-mtp
MLX-квант с MTP-ускорением
2 мин чтенияобновлено
Это oMLX-квант oQ5e модели BAAI/AREX-2 из семейства Qwen3.8-27B, к которому добавили обученную MTP-голову (multi-token prediction — предсказание нескольких токенов вперёд) для Lightning MTP speculative decoding. На практике модель быстрее генерирует текст за счёт спекулятивного декодирования: на M5 Pro замер показал 30,4–30,8 tok/s против 13,5 tok/s у версии без MTP, то есть примерно в 2,25 раза. При temperature 0 выходные токены совпадают с обычной AREX-2-oQ5e, так что ускорение не меняет результат. Бэкбон здесь тот же, что у AREX-2-oQ5e, а единственные добавления — файл model-mtp.safetensors на 0,36 ГБ и параметр mtp_num_hidden_layers = 1. Пригодится тем, кто запускает LLM локально через oMLX и хочет ускорить генерацию без замены основной модели.
Ключевые особенности
- MTP-голова обучена именно под цель AREX-2 W8A16, а не взята как универсальная голова Qwen3.8.
- Ускорение около 2,25× на M5 Pro: 30,4–30,8 tok/s против 13,5 tok/s на том же запросе.
- Acceptance 82,5–84,0%, 3,1–3,5 токена за цикл; глубина-1 даёт 84–87%, глубина-3 — 81–83%.
- Бэкбон байт-в-байт совпадает с AREX-2-oQ5e; добавлена только MTP-часть на 0,36 ГБ.
- Донорская draft-голова удалена: по замерам её shortlist-скоррелировал с
lm_headцели почти идеально, потери нет.
Что можно сделать
- Ускорить локальную генерацию кода и текста в oMLX, включив настройку
mtp_enabled. - Использовать как более быструю замену AREX-2-oQ5e: основной бэкбон тот же, меняется только режим декодирования.
- Проверить спекулятивное декодирование на своих промптах при temperature 0 и сравнить скорость с версией без MTP.
Пример
В oMLX выберите модель и включите для неё mtp_enabled — при обнаружении oMLX включает MTP автоматически. На M5 Pro тот же запрос на 400 токенов кода дал 30,4–30,8 tok/s против 13,5 tok/s у AREX-2-oQ5e без MTP.
Подробнее
Замеры: M5 Pro, greedy, 400 токенов, code prompt.Acceptance: 260/315 (82,5%) и 241/287 (84,0%); 3,1–3,5 токена за цикл.
Скорость: 30,4–30,8 tok/s против 13,5 tok/s, примерно 2,25×.
Выход идентичен не-MTP модели при temperature 0; нужен oMLX с поддержкой MTP.










Комментарии