SopuCoder Fast
LoRA-адаптер для кодинга на Apple Silicon
2 min readupdated
SopuCoder Fast (v1.1-candidate) — кандидатная версия LoRA-адаптера для код-модели Qwen2.5-Coder-1.5B-Instruct. Адаптер обучен через MLX-LM на Apple M1 с Metal: это позволяет запускать дообученную модель локально на Mac. На выходе вы получаете код-ассистента на базе 4-битной Qwen2.5-Coder-1.5B-Instruct с подключёнными LoRA-весами. В карточке заявлены ускорение инференса и снижение пиковой памяти по сравнению с базой. Пригодится тем, кто работает с локальными LLM на Apple Silicon и хочет быстрее генерировать код.
Ключевые особенности
- LoRA rank 8, scale 20, dropout 0, обучение на 16 слоях трансформера.
- Пайплайн на MLX-LM: обучение шло на Apple M1 с Metal, ~395 токенов/с.
- Заявленная скорость инференса — 60,55–68,71 токена/с на M1 16 ГБ против ~35 у базовой модели.
- Пиковая память — 1,09 ГБ; контекстное окно — 8192 токена.
- Язык — английский; это кандидатная версия, а не финальный релиз.
Что можно сделать
- Подключить адаптер к mlx-community/Qwen2.5-Coder-1.5B-Instruct-4bit и генерировать код в MLX-LM на Mac.
- Собрать локальную модель в Ollama по Modelfile и тестировать в чате.
- Сравнить скорость и потребление памяти с базовой Qwen2.5-Coder на своём Apple Silicon.
Пример
pip install mlx-lm
python -m mlx_lm generate \
--model mlx-community/Qwen2.5-Coder-1.5B-Instruct-4bit \
--adapter-path training/checkpoints/sopu-coder-mlx-adapters \
--prompt "Write a React useOptimisticMutation hook."
Подробнее
На Apple M1 16 ГБ: скорость 60,55–68,71 токена/с, пиковая память 1,09 ГБ, контекст 8192 токена.Обучение: 60 итераций, loss снизился с 1.560 до 0.118 на train и 0.502 на validation.
Ограничения: кандидатная версия, язык — английский; для запуска нужны MLX-LM или Ollama и Apple Silicon.










Comments