Qwen3.6-35B-A3B-REAP25
облегченная версия Qwen3.6 с сокращенными MoE-экспертами
2 мин чтенияобновлено
Модифицированная языковая модель от автора inference-optimization, созданная на базе Qwen/Qwen3.6-35B-A3B. Из исходных 256 экспертов в каждом из 40 слоев архитектуры MoE (Mixture of Experts, смесь экспертов — подход, когда в обработке токена участвуют только определенные части сети) удалено 25%: осталось 192 наиболее важных эксперта на слой. Прунинг (сокращение) выполнен с помощью метода REAP (метод оценки важности экспертов по активациям) и инструмента llmcompressor, а калибровка прошла на датасете RazorCal. Модель подходит для исследователей и разработчиков, которым требуется снизить требования к железу и ускорить инференс крупной модели без переобучения весов.
Ключевые особенности
- Уменьшение числа экспертов: удалено 64 наименее важных эксперта в каждом из 40 слоев (всего осталось 7680 из 10240).
- Сохранение весов: прочие веса (внимание, визуальный модуль, эмбеддинги и общие эксперты) остались в оригинальном формате BF16 (формат представления чисел с плавающей точкой повышенной точности).
- Неизменный MTP: слой предсказания следующих токенов (MTP) оставлен без калибровки и изменений.
- Автоматический пересчет: конфигурация модели (`config.json`) обновлена с новым количеством экспертов, а их индексы пересчитаны последовательно.
Что можно сделать
- Запуск в пайплайнах: интегрировать модель в проекты через библиотеку
transformersдля тестирования в задачах генерации текста. - Сравнение производительности: замерить скорость генерации и потребление памяти по сравнению с базовой моделью Qwen3.6-35B-A3B.
- Инференс с LLM-компрессией: использовать модель в окружениях, поддерживающих измененную конфигурацию MoE-слоев.
Пример
from transformers import AutoProcessor, Qwen3_5MoeForConditionalGeneration
model = Qwen3_5MoeForConditionalGeneration.from_pretrained(
"inference-optimization/Qwen3.6-35B-A3B-REAP25", torch_dtype="bfloat16"
)
processor = AutoProcessor.from_pretrained(
"inference-optimization/Qwen3.6-35B-A3B-REAP25"
)
Подробнее
Базовая модель: Qwen/Qwen3.6-35B-A3BКоличество параметров: ~27.89 млрд
Метод оптимизации: REAP (удаление 25% экспертов)
Калибровочный датасет: RazorCal (2048 образцов)
Библиотека: transformers










Комментарии