Qwen2.5-Coder-0.5B-int8-sym
компактная кодовая LLM для OpenVINO
2 мин чтения
Готовая к запуску версия компактной языковой модели для работы с кодом Qwen/Qwen2.5-Coder-0.5B, сконвертированная в формат OpenVINO (инструментарий от Intel для ускорения нейросетей на CPU и встроенной графике). Веса модели сжаты с помощью симметричного квантования до int8 (уменьшение точности чисел для экономии памяти и ускорения расчётов), благодаря чему файлы весят всего 0.46 GB. В отличие от оригинала, эта сборка уже включает сконвертированный токенизатор и детокенизатор OpenVINO, поэтому её можно сразу запускать через Optimum-Intel без ручной конвертации. Подойдёт разработчикам, которым нужно локальное автодополнение или генерация кода на слабом железе без дискретной видеокарты.
Ключевые особенности
- Построена на архитектуре
Qwen2ForCausalLMна базеQwen/Qwen2.5-Coder-0.5B. - Симметричное квантование весов до
int8снижает объём IR-весов до 0.46 GB. - В комплекте уже лежат
openvino_model,openvino_tokenizer,openvino_detokenizerиchat_template.jinjaдля прямого деплоя. - Работает только с текстом (генерация текста и кода), поддержка изображений отсутствует.
Что можно сделать
- Подключить как лёгкий локальный ассистент для генерации и дополнения кода на ноутбуках с процессорами или встроенной графикой Intel через
device="AUTO". - Встроить в локальный сервис или микросервис через библиотеку
optimum.intelбез предварительной подготовки и конвертации весов. - Развернуть на устройствах с жёстким ограничением по оперативной памяти, где важен минимальный размер модели (менее полугигабайта).
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-0.5B-int8-sym"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)Подробнее
Базовая модель: Qwen/Qwen2.5-Coder-0.5B (архитектура Qwen2ForCausalLM)Размер весов: 0.46 GB (симметричное квантование int8)
Модальности: только текст (без поддержки изображений)
В линейке автора также доступны варианты на 1.5B и 3B параметров










Комментарии