Qwen2.5-Coder-0.5B-int4-sym-g128-se-awq
сверхлёгкая кодовая модель для OpenVINO
2 min read
Это сжатая версия компактной языковой модели для генерации кода Qwen/Qwen2.5-Coder-0.5B, переведённая в формат OpenVINO (инструментарий от Intel для быстрого запуска нейросетей на процессорах и встроенной графике). Веса модели квантованы до 4 бит с помощью метода AWQ (алгоритма сжатия, который сохраняет точность наиболее важных для вычислений весов). На выходе вы получаете готовую к работе модель весом всего 0.30 ГБ со всеми нужными файлами токенизатора. Она пригодится разработчикам, которым нужен локальный автокомплит или генерация простого кода на слабом железе и устройствах Intel без мощной дискретной видеокарты.
Ключевые особенности
- Основана на архитектуре
Qwen2ForCausalLMи базовой кодовой моделиQwen/Qwen2.5-Coder-0.5B. - Веса в формате Intermediate Representation (IR) занимают всего 0.30 ГБ благодаря симметричному
int4-квантованию. - В комплекте идут все файлы, необходимые для библиотеки Optimum-Intel, включая готовые токенизатор и детокенизатор OpenVINO.
- В релизе автора также доступны более крупные варианты этой же серии на 1.5B и 3B параметров.
Что можно сделать
- Встроить в локальный плагин для автодополнения или генерации небольших фрагментов кода на ноутбуках и мини-ПК с процессорами Intel.
- Использовать как лёгкий бэкенд в локальных сервисах через библиотеку
optimum-intelс автоматическим выбором устройства (device="AUTO").
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-0.5B-int4-sym-g128-se-awq"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)Подробнее
Размер весов (IR weights): 0.30 ГБ.Параметры квантования: int4, symmetric, group_size=128, AWQ activation-aware scales и scale estimation.
Калибровка при сжатии проводилась на датасете gsm8k.
Поддерживается только текстовая модальность (изображения не поддерживаются).










Comments