Qwen3.8-27B-opencode-adapted MLX adapter
адаптер для запуска языковой модели на Apple Silicon
2 мин чтенияобновлено
Этот релиз представляет собой LoRA (небольшую надстройку над базовой моделью) в формате библиотеки mlx-lm, предназначенную для запуска модели Qwen3.8-27B на технике Apple с чипами Apple Silicon. Адаптер обучен с помощью методов обучения с подкреплением для решения задач в области программной инженерии и работы с терминалом. Он позволяет превратить базовую модель в эффективного помощника для написания кода без необходимости держать в памяти полный набор весов. Решение пригодится разработчикам, использующим компьютеры Mac для локальной работы с продвинутыми LLM (большими языковыми моделями).
Ключевые особенности
- Формат mlx-lm: ранг 32, масштаб 2.0 и вес 638 МБ для интеграции с экосистемой MLX.
- Обучение с подкреплением (AsyncGRPO в TRL) для специализированных задач программирования.
- Совместимость с базовой моделью Qwen/Qwen3.8-27B и её квантованными версиями.
- Возможность быстрого переключения адаптеров поверх одной базовой модели.
Что можно сделать
- Запустить локального помощника для написания кода и работы с командной строкой в связке с OpenCode.
- Интегрировать адаптер в скрипты на Python с использованием библиотеки mlx-lm.
- Развернуть собственный локальный API-сервер для генерации кода на Mac.
Пример
from huggingface_hub import snapshot_download
from mlx_lm import load, generate
adapter = snapshot_download("netprojects/Qwen3.8-27B-opencode-adapted-MLX-adapter")
model, tokenizer = load("mlx-community/Qwen3.8-27B-4bit", adapter_path=adapter)
prompt = tokenizer.apply_chat_template([{"role": "user", "content": "Hello"}], add_generation_prompt=True,
enable_thinking=False, tokenize=False)
print(generate(model, tokenizer, prompt=prompt, max_tokens=200))Подробнее
• SWE-bench Pro (hard 51): рост с 35.3% до 51.0%• Terminal-Bench 2.1: рост с 46.4% до 52.4%
• Лицензия: Apache-2.0
• Размер адаптера: 638 МБ










Комментарии