Qwen3.8-27B-pi-MLX-adapter
LoRA для задач программирования под Apple Silicon
2 мин чтения
Этот адаптер (LoRA — небольшая надстройка над базовой моделью) переносит возможности кодинг-агента pi на архитектуру MLX для работы на компьютерах Mac. Модель обучена с помощью метода AsyncGRPO для эффективного решения задач в терминале и написания кода. Решение позволяет запускать мощную языковую модель на локальном железе с поддержкой MLX, экономя память за счет подключения адаптера к базовым весам. Инструмент ориентирован на разработчиков и пользователей, которым нужна автономная работа с кодом локально.
Ключевые особенности
- Оптимизация под MLX: Формат адаптирован специально для фреймворка MLX на устройствах Apple Silicon.
- Улучшение кодинга: Повышает точность выполнения терминальных команд и программных задач по сравнению с базовой моделью.
- Эффективность токенов: Снижает количество вызовов вспомогательных инструментов на задачу.
- Гибкость интеграции: Работает поверх различных квантованных версий базовой модели.
Что можно сделать
- Автоматизация в терминале: Генерировать сложные bash-скрипты и команды для управления системой.
- Разработка ПО: Использовать модель как локального ассистента для написания и отладки кода.
- Запуск сервера: Развернуть локальный API-сервер для кодинг-агентов через mlx_lm.server.
Пример
from huggingface_hub import snapshot_download
from mlx_lm import load, generate
adapter = snapshot_download("netprojects/Qwen3.8-27B-pi-MLX-adapter")
model, tokenizer = load("mlx-community/Qwen3.8-27B-4bit", adapter_path=adapter)
prompt = tokenizer.apply_chat_template([{"role": "user", "content": "Hello"}], add_generation_prompt=True,
enable_thinking=False, tokenize=False)
print(generate(model, tokenizer, prompt=prompt, max_tokens=200))Подробнее
• Результаты бенчмарков: Terminal-Bench 2.1 вырос с 39.5% до 55.8%, SWE-bench Pro с 29.4% до 62.7%• Размер адаптера: 638 MB в исходном формате float32
• Требования: Требует библиотеку mlx-lm версии 0.32.2 или выше
• Лицензия: Apache-2.0










Комментарии