Qwen3.5-35B-A3B-SWE-SFT-step93
файнтюн для задач программирования
2 min read
Эта языковая модель (LLM) представляет собой дообученную версию базовой Qwen/Qwen3.5-35B-A3B-Base, заточенную под диалоги в сфере разработки программного обеспечения (SWE). Модель построена на архитектуре MoE (Mixture of Experts — смесь экспертов, где для каждого токена активируется только часть параметров) общим объёмом 34,66 млрд параметров. В отличие от мультимодальных версий семейства, данный релиз экспортирован строго в текстовом режиме (language-only) без весов визуального модуля. Подойдёт разработчикам для локального развёртывания ассистентов по коду и отладке.
Ключевые особенности
- Обучена методом SFT (Supervised Fine-Tuning — обучение с учителем) на 1 000 диалогах по разработке ПО в течение 3 эпох (93 шага оптимизатора).
- Текстовый экспорт (language-only): визуальный энкодер (vision tower) исключён из весов, что требует запуска в соответствующем текстовом режиме.
- Веса сохранены в точности FP32 без состояния оптимизатора, в комплекте идут токенизатор, шаблон чата (chat template) и конфигурация генерации.
- Экспорт прошёл автоматическую валидацию ключей и размерностей тензоров, заголовков safetensors и отсутствия буферов наблюдения роутера.
Что можно сделать
- Подключить через движок инференса vLLM в режиме language-only для генерации, анализа и исправления кода.
- Использовать в локальных чат-интерфейсах и IDE-плагинах благодаря готовому встроенному шаблону диалогов (chat template).
- Взять за основу для дальнейшего дообучения или квантования под доступное железо, опираясь на исходные FP32-веса.
Пример
В карточке не приведён готовый сниппет кода, однако указано, что для запуска следует использовать загрузчик с поддержкой текстового режима для Qwen3.5 MoE — например, vLLM в режиме language-only, передавая запросы в формате стандартного диалога по разработке ПО (SWE) через встроенный chat_template.
Подробнее
Базовая модель: Qwen/Qwen3.5-35B-A3B-Base (34.66B параметров, MoE).Обучение: 1 000 SWE-диалогов, 3 эпохи, 93 шага, запуск qwen35_swe_npu128_20261114_154848.
Ограничения: нет весов vision tower; требуется загрузчик с поддержкой language-only Qwen3.5 MoE (например, vLLM).
Формат весов: FP32, safetensors, детали экспорта зафиксированы в export_manifest.json.










Comments