Qwen3-Coder-30B-A3B-Instruct
быстрая MoE-модель для агентного программирования
2 мин чтенияобновлено
Команда Qwen выпустила компактную и эффективную версию своей линейки для работы с кодом — Qwen3-Coder-30B-A3B-Instruct. Модель построена на архитектуре MoE (Mixture-of-Experts — смесь экспертов, где для каждого токена активируется лишь часть параметров): при общем объёме 30.5B параметров в вычислениях участвуют всего 3.3B. Она заточена под агентное программирование, вызов инструментов (tool calling) и анализ целых репозиториев благодаря нативному контексту в 256K токенов. Подойдёт разработчикам для локального запуска ассистентов в IDE и автоматизации задач с кодом.
Ключевые особенности
- Эффективная MoE-архитектура: 128 экспертов, из которых одновременно активируются только 8 (3.3B активных параметров из 30.5B).
- Сверхдлинный контекст: нативная поддержка 262 144 токенов с возможностью расширения до 1M через метод Yarn.
- Заточка под агентов: специальный формат вызова функций (function calling) для работы в Qwen Code, CLINE и браузерных агентах.
- Только прямой режим ответа: модель не генерирует блоки рассуждений
, сразу выдавая результат.
Что можно сделать
- Подключить к ассистентам вроде CLINE или Qwen Code для рефакторинга и навигации по крупным репозиториям.
- Запустить локально через Ollama, LMStudio, llama.cpp или MLX-LM для автодополнения и генерации кода без облачных API.
- Использовать в автоматизированных пайплайнах с вызовом внешних функций и инструментов через OpenAI-совместимый эндпоинт.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-Coder-30B-A3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Write a quick sort algorithm."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(**model_inputs, max_new_tokens=65536)
Подробнее
Архитектура: 48 слоёв, GQA (32 головы для Q, 4 для KV), 128 экспертов (8 активных).Требования к ПО: нужна библиотека transformers версии 4.51.0 или новее (иначе возникает KeyError: 'qwen3_moe').
Память и параметры: при нехватке видеопамяти (OOM) разработчики советуют уменьшить длину контекста, например до 32 768 токенов; рекомендуемые настройки сэмплирования — temperature=0.7, top_p=0.8, top_k=20, repetition_penalty=1.05.










Комментарии