Qwopus3-5-9B-Coder-Flash-mlx-6Bit
6-битная MLX-версия модели для кода на Mac
2 мин чтения
Это версия языковой модели Jackrong/Qwopus3-5-9B-Coder-Flash, сконвертированная в формат MLX (фреймворк Apple для запуска нейросетей на чипах Apple Silicon) с 6-битным квантованием (сжатием весов для экономии памяти). Модель решает задачи генерации текста и написания кода, имеет размер около 8.95B параметров и поддерживает несколько языков, включая русский и английский. Конвертацию выполнил автор OmAr-Kader-DeV с помощью библиотеки mlx-lm. Сборка пригодится владельцам компьютеров Mac, которые хотят локально запускать лёгкую модель для разработки без облачных API.
Ключевые особенности
- Формат MLX (6Bit): адаптирована для работы на устройствах Apple с уменьшенным потреблением памяти за счёт 6-битного квантования.
- Фокус на код: основана на специализированной кодер-модели Qwopus3-5-9B-Coder-Flash объёмом 8.95B параметров.
- Мультиязычность: заявлена поддержка русского, английского, китайского, корейского, японского и испанского языков.
- Простой запуск: работает напрямую через стандартный пакет
mlx-lmверсии 0.31.2 и выше.
Что можно сделать
- Локальный ассистент программиста: подключить модель на MacBook для генерации, разбора и доработки кода в офлайне.
- Чат-бот для технических задач: использовать в локальных скриптах и ботах с поддержкой диалогового шаблона (
chat_template) на русском языке.
Пример
from mlx_lm import load, generate
model, tokenizer = load("OmAr-Kader-DeV/Qwopus3-5-9B-Coder-Flash-mlx-6Bit")
messages = [{"role": "user", "content": "hello"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response = generate(model, tokenizer, prompt=prompt, verbose=True)Подробнее
Базовая модель: Jackrong/Qwopus3-5-9B-Coder-Flash (8.95B параметров)Формат и квантование: MLX, 6-bit, конвертация через mlx-lm 0.31.2
Поддерживаемые языки: en, zh, ko, ja, ru, es










Комментарии