Qwen3.6-35B-A3B-8V16D
большая MoE-модель для ПК с 8 ГБ VRAM и 16 ГБ ОЗУ
2 min read
Специальная квантизация (сжатие весов для экономии памяти) модели Qwen3.6-35B-A3B от автора BoxyFit, настроенная под самую массовую конфигурацию игрового ПК: видеокарту с 8 ГБ VRAM и 16 ГБ оперативной памяти. Обычно 35-миллиардные MoE-модели (архитектура с «экспертами», где на каждый токен активируется лишь часть параметров) не помещаются в стандартные 16 ГБ ОЗУ на Windows, но здесь пул экспертов сжат до 9,36 GiB, а активные слои держатся в видеопамяти. Релиз представлен в двух вариантах — FTQ (адаптивная Trellis-квантизация для движка Strata) и FIQ (для llama.cpp, LM Studio и Ollama). Пригодится тем, кто хочет запускать крупную языковую модель локально с длинным контекстом без апгрейда железа.
Ключевые особенности
- Работа в бюджете 12 GiB свободной ОЗУ: в отличие от стандартных сборок на 14,3 GiB, модель стабильно стартует на обычной системе с 16 ГБ RAM и запущенной ОС.
- Два специализированных формата: флагманский файл
8V16D-FTQвыжимает максимум скорости в Strata, а8V16D-FIQсовместим с популярными фронтендами на базе llama.cpp. - Поддержка длинного контекста: сохраняет рабочую скорость генерации на окнах 20K–56K токенов в Strata и вплоть до 98K токенов в LM Studio / Ollama.
- Низкая перплексия при малом весе: по тесту wikitext-2 вариант FIQ превосходит по качеству сопоставимый по размеру пакет
UD-IQ2_M(7.639 против 7.776).
Что можно сделать
- Запустить в движке Strata на максимальной скорости: получить до 31,1 токена в секунду на контексте 20K и до 12,8 t/s на 56K на видеокарте уровня RTX 3070 Ti (8 ГБ).
- Подключить в LM Studio или Ollama: импортировать GGUF-файл
8V16D-FIQдля локального чата и работы с большими документами (контекст до 98K) при потреблении всего 2,5 GiB VRAM.
Пример
strata --serve --native Qwen3.6-35B-A3B-8V16D-FTQ.gguf --max-context 56000 --mtp 2Подробнее
Тесты на RTX 3070 Ti (8 ГБ VRAM) + 16 ГБ RAM (лимит 12 GiB ОЗУ):Strata (8V16D-FTQ, 10.7 GiB): 26.1 t/s на 20K и 11.8 t/s на 56K (7.6 GiB VRAM, 12 GiB RAM, ppl 7.547).
Strata (8V16D-FIQ, 11.0 GiB): 31.1 t/s на 20K и 12.8 t/s на 56K (7.8 GiB VRAM, 12 GiB RAM, ppl 7.639).
LM Studio / Ollama (8V16D-FIQ): 14.8 t/s на 20K, 14.0 t/s на 64K, 13.5 t/s на 98K (2.5 GiB VRAM, 14 GiB RAM).
В Strata используется спекулятивное декодирование MTP-2; FTQ работает только в Strata из-за кастомных ядер.










Comments