Qwen2.5-Coder-1.5B-int8-sym
компактная кодерская LLM под OpenVINO
2 min read
Это готовый экспорт языковой модели для программирования Qwen2.5-Coder-1.5B (1,5 млрд параметров, архитектура Qwen2ForCausalLM) в формат OpenVINO с симметричным квантованием весов до int8 (сжатие точности чисел для уменьшения веса и ускорения работы). Весит такая сборка всего 1,44 ГБ и предназначена для генерации и автодополнения кода из текстовых запросов. В отличие от оригинальной версии, модель уже упакована со всеми нужными файлами для Optimum-Intel, включая токенизатор и детокенизатор в формате OpenVINO. Пригодится разработчикам, которым нужен лёгкий локальный ассистент для кода на процессорах и видеокартах Intel без ручной конвертации весов.
Ключевые особенности
- Веса квантованы симметрично в
int8, итоговый объём IR-файлов составляет 1,44 ГБ. - Полный комплект файлов для
optimum-intel: готовые модели, токенизатор, детокенизатор и шаблон чата (chat_template.jinja). - Работает только с текстом (генерация кода и текстовых ответов), поддержка изображений отсутствует.
- В серии также доступны версии на 0.5B и 3B параметров с тем же типом квантования.
Что можно сделать
- Запустить локальный автокомплит или чат-помощник для кода на ноутбуке или мини-ПК с CPU/GPU Intel через
device="AUTO". - Подключить модель напрямую к серверу инференса на базе OpenVINO / Optimum-Intel без предварительной конвертации из PyTorch.
- Сравнить скорость и качество генерации кода между версиями на 0.5B, 1.5B и 3B на своём железе.
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-1.5B-int8-sym"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)Подробнее
Базовая модель: Qwen/Qwen2.5-Coder-1.5B (архитектура Qwen2ForCausalLM)Размер IR-весов: 1.44 GB, симметричное квантование int8
Поддерживаемые модальности: только текст (без изображений)
Соседние варианты в релизе: 0.5B и 3B в формате int8-sym










Comments