Qwen2.5-Coder-1.5B-int4-sym-g128-se-awq
компактная модель для кода под OpenVINO
2 min read
Это сжатая и готовая к запуску версия языковой модели Qwen2.5-Coder-1.5B (1,5 млрд параметров), конвертированная в формат OpenVINO (инструментарий Intel для ускорения нейросетей). Модель предназначена для генерации и анализа программного кода на основе текстовых запросов. Благодаря квантованию (сжатию весов до 4 бит с сохранением точности важных активаций по методу AWQ) вес модели сократился до 0,85 ГБ. Решение пригодится разработчикам, которым нужен быстрый локальный ассистент программиста на процессорах и видеокартах Intel без сложных конвертаций.
Ключевые особенности
- Архитектура
Qwen2ForCausalLM, построенная на базеQwen/Qwen2.5-Coder-1.5B. - Компактный размер весов в формате IR (промежуточное представление OpenVINO) — всего 0,85 ГБ.
- Симметричное 4-битное квантование (
int4,group_size=128) с оценкой масштабов (scale estimation) и калибровкой на датасетеgsm8k. - Полный комплект файлов для
Optimum-Intel, включая встроенные токенизатор и детокенизатор в формате OpenVINO.
Что можно сделать
- Встроить в локальный плагин автодополнения кода или чат-ассистента на ноутбуке с CPU или встроенной графикой Intel.
- Развернуть лёгкий микросервис для генерации и рефакторинга скриптов на машинах без дискретной видеокарты.
- Использовать как базовый компонент в пайплайнах с библиотекой
optimum-intelбез предварительной самостоятельной конвертации весов.
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-1.5B-int4-sym-g128-se-awq"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)Подробнее
Базовая модель: Qwen/Qwen2.5-Coder-1.5B (архитектура Qwen2ForCausalLM).Размер весов: 0.85 ГБ; квантование: int4 symmetric, group_size=128, AWQ + scale estimation.
Калибровка выполнена на наборе данных gsm8k.
Поддерживается только текстовая модальность (изображения не поддерживаются).










Comments