Spark-X2.6-4B-oQ6e
конвертация модели для MLX
1 мин чтения
Модель представляет собой квантованную версию языковой модели Spark-X2.6-4B (около 4.11 миллиардов параметров), адаптированную для работы на устройствах Apple Silicon с помощью фреймворка MLX (библиотеки для машинного обучения от Apple). Квантование (сжатие модели для экономии памяти) выполнено методом oQ6e с использованием калибровки imatrix, что позволяет выборочно распределять точность для разных тензоров вместо применения единой битности. Разработка пригодится владельцам компьютеров Mac, которые хотят запускать современные языковые модели локально с меньшими требованиями к оперативной памяти.
Ключевые особенности
- Формат MLX (оптимизирован для процессоров Apple Silicon)
- Квантование oQ6e (enhanced=True) с использованием imatrix
- Калибровка на основе 128 образцов по 512 токенов
- Наличие отчета о распределении квантования oq_imatrix_report.json
Что можно сделать
- Запустить локально на компьютерах Mac с чипами Apple Silicon через экосистему MLX
- Проверить качество генерации текста на устройствах Apple с меньшим потреблением ресурсов
- Изучить отчет о калибровке precision для оптимизации весов
Пример
Пример команды для запуска конвертации аналогичной модели через oMLX:
python run_oqe_conversion.py Spark-X2.6-4B-bf16 --models-dir /path/to/models --oq-level 6.0 --imatrix-samples 128 --imatrix-seq-length 512 --source-repo https://huggingface.co/XHToken/Spark-X2.6-4BПодробнее
Исходный чекпоинт: Spark-X2.6-4B-bf16Инструмент конвертации: oMLX версии 0.8.0rc1
Метод сжатия: imatrix (128 сэмплов по 512 токенов)
Файлы: model.safetensors, config.json, oq_imatrix_report.json










Комментарии