Qwen3.8-3.6-3.5-27B-CrossMean-Coder
продвинутое слияние языковых моделей
1 мин чтения
Модель Qwen3.8-3.6-3.5-27B-CrossMean-Coder представляет собой прогрессивное слияние трех версий языковой модели Qwen на 27 миллиардов параметров. Она объединяет сильные стороны базовых моделей с помощью выравнивания активаций CrossMean, сохраняя рекуррентное отслеживание состояния и точность в кодинге. Благодаря технике Woodbury (математический метод для эффективного обновления обратных матриц) удается избежать сдвига ковариации и восстановить знания SciCode. Подойдет разработчикам и исследователям, которым нужна мощная локальная модель для программирования со стабильными слоями.
Ключевые особенности
- Gated DeltaNet с точной настройкой alpha для сохранения долгосрочного контекста
- Gated Full Attention с базисным выравниванием CrossMean
- Точное слияние MLP с решением по методу Вудбери (Woodbury) для восстановления знаний без сдвига ковариации
- Барьер дрейфа на каждом слое с проверкой траектории (max_rel_drift=0.12)
Что можно сделать
- Запускать в локальных пайплайнах для разработки ПО и генерации кода
- Использовать в научных и инженерных проектах благодаря восстановленным знаниям SciCode
Пример
Использование модели для генерации и отладки комплексного кода на Python с учетом длинного контекста рекуррентного состояния.
Подробнее
Валидационный лосс (NLL): Qwen3.8 (2.10) против CrossMean (1.98)Перплексия (PPL): 7.28 для объединенной модели
Политика MTP: keep_38










Комментарии