Qwen3-Coder-30B-A3B-Instruct-FP8
быстрая MoE-модель для агентного программирования
2 мин чтения
Эта языковая модель (LLM) от команды Qwen создана для написания кода, работы в браузере и автономного выполнения задач в роли ИИ-агента. В основе лежит архитектура MoE (Mixture-of-Experts — модель, где на каждый запрос активируется лишь часть нейросети): из 30,5 млрд общих параметров в работе участвуют только 3,3 млрд. Версия сжата в формат FP8 (квантование до 8 бит), что снижает требования к видеопамяти при сохранении точности оригинала. Пригодится разработчикам для локального запуска ассистентов программирования и анализа крупных репозиториев.
Ключевые особенности
- Агентный кодинг: заточена под вызов внешних инструментов (function calling) и работу в средах вроде Qwen Code и CLINE.
- Огромный контекст: нативно поддерживает окно в 262 144 токена (256K) с возможностью расширения до 1M через технологию Yarn — этого хватит для анализа целых проектов.
- Экономичная архитектура: 128 экспертов, из которых на каждый токен активируются только 8, обеспечивают высокую скорость генерации.
- Прямые ответы без раздумий: модель работает только в режиме без блока рассуждений (non-thinking mode) и не генерирует теги
.
Что можно сделать
- Подключить к локальным агентам разработки вроде CLINE или Qwen Code через серверы
vllmилиsglangдля рефакторинга больших кодовых баз. - Использовать в автоматизированных пайплайнах с вызовом функций (OpenAI-совместимый API) для выполнения скриптов и работы с браузером.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "MuhammedSuhaib/Qwen3-Coder-30B-A3B-Instruct-FP8"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Write a quick sort algorithm."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
Подробнее
Параметры: 30.5B всего, 3.3B активных (48 слоёв, GQA: 32 Q / 4 KV).Квантование: fine-grained FP8 с размером блока 128.
Софт и нюансы: требуется
transformers версии от 4.51.0; при запуске на нескольких GPU может понадобиться CUDA_LAUNCH_BLOCKING=1.Рекомендуемые настройки генерации:
temperature=0.7, top_p=0.8, top_k=20, repetition_penalty=1.05.









Комментарии