Qwen2.5-Coder-3B-int4-sym-g128-se-awq
компактная кодерская LLM в формате OpenVINO
2 мин чтения
Модель представляет собой версию языковой модели Qwen/Qwen2.5-Coder-3B, конвертированную в формат OpenVINO для быстрого локального запуска на оборудовании Intel. Веса сжаты до 4 бит методом AWQ (квантование с учётом активаций), благодаря чему итоговый размер файлов модели составляет всего 1.62 ГБ. В отличие от оригинальной версии, этот вариант готов к прямому развёртыванию через библиотеку Optimum-Intel без ручной конвертации и калибровки, сохраняя при этом поддержку только текстового ввода и вывода. Релиз пригодится разработчикам, которым нужен лёгкий локальный ассистент для генерации и анализа кода на CPU или встроенной графике.
Ключевые особенности
- Основана на архитектуре
Qwen2ForCausalLM(база —Qwen/Qwen2.5-Coder-3B). - Симметричное квантование весов до
int4с размером группыgroup_size=128, применением AWQ и оценкой масштабов (scale estimation). - Калибровка при сжатии проводилась на датасете
gsm8k. - Включает полный комплект файлов для Optimum-Intel: модель, токенизатор, детокенизатор и конфигурации.
- В линейке релиза также доступны более компактные варианты на 1.5B и 0.5B параметров.
Что можно сделать
- Развернуть локального помощника для автодополнения и написания кода на ноутбуке или мини-ПК с процессорами и графикой Intel.
- Интегрировать модель в собственный сервис генерации текста и кода через
OVModelForCausalLMбез использования дискретной видеокарты.
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-3B-int4-sym-g128-se-awq"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)
Подробнее
Размер IR-весов: 1.62 ГБ.Модальности: только текст (работа с изображениями не поддерживается).
Квантование: int4, symmetric, group_size=128, AWQ, scale estimation, калибровка на gsm8k.










Комментарии