Qwen3.5-0.8B-Python-SoftMoE-v2
мягкий MoE-эксперт по Python без дообучения
2 мин чтения
Модель Qwen3.5-0.8B-Python-SoftMoE-v2 представляет собой компактного эксперта по языку Python и PEP, созданного на базе плотной модели Qwen/Qwen3.5-0.8B размером 0.87 млрд параметров. Главная особенность сборки — применение технологии weight-space steering (изменение весов напрямую без градиентного обучения), благодаря которой доменное направление выделяется через активационный сканирующий скан и внедряется в веса. В отличие от базовой версии, модель оснащена роутером на эмбеддингах, который автоматически переключает запросы по теме Python на этот экспертный блок. Она пригодится разработчикам и исследователям для локального анализа кода и работы со спецификациями.
Ключевые особенности
Без дообучения: веса модифицированы методом weight-space steering через активационный скан без градиентов.- Специализация по Python: доменные промпты взяты из официальной документации Python EPUB и PEP (30 чанков).
- Встроенный роутер: эмбеддинг-маржин роутер автоматически активирует сборку для запросов по целевой теме.
- Сохранение общих навыков: результаты на HumanEval остались на уровне базовой модели без деградации общих способностей.
Что можно сделать
- Применять в локальных экспериментах и пайплайнах Ivanna Lab для генерации кода и проверки PEP.
- Использовать в качестве легковесного компонента для ответов на вопросы по синтаксису и спецификациям Python.
- Сравнивать поведение базовой Qwen3.5-0.8B и мягкого MoE-эксперта на задачах перевода кода.
Пример
При запросе, связанном с синтаксисом Python или PEP (например, вопросы по спецификациям из официальной документации), встроенный эмбеддинг-роутер автоматически выбирает эту сборку вместо базовой модели для точного соблюдения стиля.
Подробнее
• Базовая модель: Qwen/Qwen3.5-0.8B (0.87B параметров)• Режим и параметры: steer, α = 0.1, слои [15, 16, 17, 18, 20, 21, 22, 23]
• Бенчмарк: code2text_python (CodeXGLUE) BLEU-4 = 1.0534
• Метод: Weight-Space Programming (MIT CSAIL, 2026)










Комментарии