Qwen3.8-27B AEON ULTIMATE UNCENSORED
смешанная квантизация для MLX
1 min readupdated
Это квантованная версия модели Qwen3.8-27B AEON ULTIMATE UNCENSORED, подготовленная через oQ (oMLX v0.7.4.dev1). Чекпоинт использует mixed-precision квантизацию: средняя эффективная точность — 3.678 бита на вес при 27.781B логических весов.
Ключевые особенности
- Смешанная точность: слои хранятся в форматах от affine 2-bit до BF16.
- Основная доля весов — affine 3-bit, group 128: 73.796%.
- Общий размер чекпоинта — 11.894 GiB.
- В составе есть vision-компонент на 0.858 GiB и MTP head на 0.293 GiB.
- Квантование выполнено инструментом oQ из oMLX v0.7.4.dev1.
Пример
Сценарий: загрузите чекпоинт в MLX-совместимый рантайм и попросите модель разобрать распределение битов. Например: «Объясни, какие компоненты этого чекпоинта занимают больше всего места и почему средняя точность составляет 3.678 бита на вес».
Подробнее
Средняя эффективная точность — 3.678 бит/вес, логических весов — 27.781B.Хранилище: 11.894 GiB; language model — 10.743 GiB, vision — 0.858 GiB, MTP head — 0.293 GiB.
Бенчмарков и требований к VRAM в карточке нет — только данные квантизации.










Comments