Другоеtimesmith
Qwen3.8-Flash-Next-oQ2-mtp
180B в MLX с 2,85 бит/вес
1 мин чтения
Квантованный чекпоинт Qwen3.8-Flash-Next от timesmith для библиотеки MLX. Смешанное квантование выполнено через oQ (oMLX v0.7.3): 180B параметров упакованы примерно в 59,7 GiB.
▶ Ключевые особенности
- ➖ Эффективная точность — 2,790 бит/вес без N-gram embedding и 2,850 бит/вес для полного чекпоинта.
- 2⃣ Основная масса весов — affine 2-bit group 64: 120,803B параметров, 35,158 GiB и 67,1% от общего объёма.
- 🔤 N-gram embedding — 51,2B параметров в affine 2-bit group 32, занимает 17,881 GiB.
- ▶ Общий размер чекпоинта — 64,120 GB / 59,717 GiB при 180B параметров.
- ➕ В составе есть vision-компонент на 0,449B и MTP head на 2,607B.
- ✖ Формат — MLX; квантование oQ смешивает 2, 3, 4, 5, 6, 8-bit и BF16.
➕ Пример
Сценарий из карточки — локальная работа с 180B-чекпоинтом в MLX: языковая часть занимает 42,519 GB, N-gram embedding — 19,2 GB, vision — 0,898 GB, MTP head — 1,503 GB. Итоговый вес — около 59,7 GiB.
Подробнее
Эффективно 2,790 бит/вес без N-gram-таблицы; 2,850 бит/вес для полного чекпоинта.Общий вес — 64,120 GB (59,717 GiB).
Языковая модель — 125,744B параметров, N-gram embedding — 51,200B, vision — 0,449B, MTP head — 2,607B.
В карточке нет бенчмарков, лицензии и инструкции запуска.
Комментарии