Qwen2.5-Coder-3B-int8-sym
кодерская LLM в формате OpenVINO
2 min read
Компактная языковая модель для генерации и анализа кода, сконвертированная в формат OpenVINO (инструментарий Intel для ускорения нейросетей на CPU и встроенной или дискретной графике). Релиз основан на оригинальной модели Qwen/Qwen2.5-Coder-3B с архитектурой Qwen2ForCausalLM и переведён в симметричную int8-квантизацию (сжатие весов до 8 бит), благодаря чему весит всего 2.88 GB. Модель подготовлена пользователем m4gshm и сразу содержит все нужные файлы, включая токенизатор и детокенизатор для запуска через Optimum-Intel. Подойдёт разработчикам, которым нужно локально развернуть лёгкого помощника для работы с кодом на процессорах или видеокартах Intel без ручной конвертации весов.
Ключевые особенности
- Симметричная int8-квантизация: сжатие весов уменьшает объём модели до 2.88 GB при сохранении работоспособности на локальном оборудовании.
- Готовность к работе из коробки: в репозитории уже собраны графы OpenVINO IR, конфиги генерации, а также бинарные файлы токенизатора и детокенизатора.
- Гибкий выбор устройства: параметр
device="AUTO"позволяет библиотеке Optimum-Intel автоматически подобрать доступный вычислитель Intel. - Семейство размеров: вместе с версией на 3B параметров опубликованы ещё более лёгкие варианты на 1.5B и 0.5B.
Что можно сделать
- Локально подключить модель в Python-скриптах или внутренних сервисах для автодополнения и генерации кода на машинах с CPU или GPU Intel.
- Использовать готовую сборку для быстрого деплоя через Optimum-Intel без необходимости самостоятельно квантовать оригинальную
Qwen/Qwen2.5-Coder-3B.
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model_id = "m4gshm/Qwen2.5-Coder-3B-int8-sym"
model = OVModelForCausalLM.from_pretrained(model_id, device="AUTO")
tokenizer = AutoTokenizer.from_pretrained(model_id)Подробнее
Архитектура: Qwen2ForCausalLM, квантизация весов: int8 symmetricРазмер весов OpenVINO IR: 2.88 GB
Поддерживаемые модальности: только текст (без обработки изображений)
В линейке также вышли версии на 1.5B и 0.5B параметров










Comments