Qwen3.8-27B-opencode MLX
локальный кодинг-агент для Mac
2 мин чтения
Модель представляет собой оптимизированную версию мощного ассистента для программирования и работы с терминалом Qwen3.8-27B-opencode, переконвертированную для запуска на Apple Silicon с помощью фреймворка MLX. Она обучена с использованием RL (AsyncGRPO) специально для решения инженерных задач и работы в составе агента OpenCode. Сборка включает в себя как текстовую часть, так и встроенный визуальный энкодер вместе с MTP-слоем (многотокенового предсказания) для ускорения генерации. Полезная находка для разработчиков, желающих запускать продвинутую локальную языковую модель без потери производительности.
Ключевые особенности
- Полная совместимость с экосистемой MLX для запуска на Mac с чипами Apple Silicon.
- Высокая эффективность в задачах программирования и анализа кода (бенчмарки SWE-bench Pro и Terminal-Bench).
- Поддержка работы с изображениями и скриншотами через mlx-vlm.
- Встроенный MTP-слой для ускорения генерации токенов (спекулятивного декодирования).
- Наличие разных вариантов квантования (от 4-бит до bf16) для подбора под объем доступной VRAM/памяти.
Что можно сделать
- Развернуть локальный OpenAI-совместимый сервер через mlx-lm для интеграции в среду разработки OpenCode.
- Писать и проверять код прямо из Python-скриптов с помощью удобного интерфейса загрузки.
- Анализировать ошибки в терминале, передавая модели скриншоты интерфейса вместе с текстовым промптом.
- Ускорить генерацию ответов за счет использования встроенного механизма MTP в качестве draft-модели.
Пример
Запуск локального сервера для интеграции в OpenCode через терминал:
pip install -U "mlx-lm>=0.32.2"
mlx_lm.server --model netprojects/Qwen3.8-27B-opencode-MLX-bf16 --port 8000 \
--chat-template-args '{"enable_thinking": false}'Подробнее
• SWE-bench Pro (hard 51): улучшение с 35.3% до 51.0% по сравнению с базовой моделью.• Terminal-Bench 2.1: рост с 46.4% до 52.4%.
• Размер модели: 55.6 GB в bf16, рекомендуемая версия на 6-бит весит 23.1 GB.
• Лицензия: Apache-2.0.










Комментарии