Kestrel-4B-Coder-mlx-8Bit
8-битная версия модели для кода под Apple Silicon
2 min readupdated
Эта модель представляет собой версию Jackrong/Kestrel-4B-Coder на 4.21 млрд параметров, сконвертированную в формат MLX (фреймворк от Apple для локального запуска нейросетей на чипах серии M). Она решает задачи формата image-text-to-text (обработка текста и изображений с генерацией текстового ответа) с фокусом на написание и разбор кода. Благодаря 8-битному квантованию (сжатию весов до 8 бит для экономии оперативной памяти) модель легче запускать локально на Mac без существенной потери качества. Подойдёт разработчикам на macOS, которым нужен компактный локальный ассистент с поддержкой русского и ещё пяти языков.
Ключевые особенности
- Сконвертирована из базовой Jackrong/Kestrel-4B-Coder с помощью
mlx-lmверсии 0.31.2. - Поддерживает 6 языков, включая русский (
ru), английский (en), китайский, японский, корейский и испанский. - 8-битное представление весов снижает нагрузку на объединённую память устройств Apple Silicon при объёме модели 4.21B параметров.
- Поддерживает стандартные чат-шаблоны через метод
apply_chat_template.
Что можно сделать
- Развернуть локального помощника для генерации, объяснения и рефакторинга кода прямо на MacBook или Mac Studio через библиотеку
mlx-lm. - Интегрировать модель в локальные скрипты автоматизации или CLI-утилиты на Python для работы с текстом и изображениями без отправки данных в облако.
Пример
from mlx_lm import load, generate
model, tokenizer = load("OmAr-Kader-DeV/Kestrel-4B-Coder-mlx-8Bit")
messages = [{"role": "user", "content": "hello"}]
prompt = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
Подробнее
Базовая модель: Jackrong/Kestrel-4B-Coder (4.21B параметров)Формат и конвертация: MLX (8-Bit), конвертировано через mlx-lm 0.31.2
Тип задачи: image-text-to-text
Поддерживаемые языки: en, zh, ko, ja, ru, es










Comments