StarCoder2-3B OpenVINO (INT8)
кодовая модель для запуска на CPU
2 min read
Это готовая к запуску версия кодовой языковой модели bigcode/starcoder2-3b (3 млрд параметров, архитектура Starcoder2ForCausalLM), переведённая в формат OpenVINO IR с квантованием весов до INT8 (сжатие весов для ускорения работы и экономии памяти). Автор Nekodeus выполнил конвертацию через optimum-cli с помощью NNCF, включив в сборку саму модель, токенизатор и детокенизатор. В отличие от оригинала, эта версия оптимизирована для инференса в экосистеме Intel (в том числе на CPU через OpenVINO GenAI или optimum-intel) и не требует самостоятельной конвертации. Подойдёт разработчикам для локального автодополнения и генерации кода без мощной видеокарты.
Ключевые особенности
- Веса в INT8: квантование выполнено через NNCF, при этом активации оставлены в FP16/FP32.
- Длинный контекст и FIM: сохранена поддержка окна контекста на 16 384 токена и режима FIM (Fill-in-the-Middle, вставка кода в середину фрагмента).
- Полный комплект IR-файлов: в репозитории сразу лежат 3 части —
openvino_model,openvino_tokenizerиopenvino_detokenizer. - Свежий стек конвертации: сборка сделана на базе
optimum-intel 2.2.0,openvino 2026.4.1иtransformers 5.16.1.
Что можно сделать
- Подключить модель в локальный скрипт или плагин автодополнения кода через Python-библиотеку
optimum-intelдля дописывания функций по началу сигнатуры. - Развернуть офлайн-генерацию кода на CPU в C++ приложении с помощью
ov::genai::LLMPipelineиз OpenVINO GenAI. - Использовать модель для заполнения пропусков внутри существующих файлов (благодаря поддержке FIM и контекста 16K).
Пример
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model = OVModelForCausalLM.from_pretrained("Nekodeus/starcoder2-3b-openvino")
tokenizer = AutoTokenizer.from_pretrained("Nekodeus/starcoder2-3b-openvino")
inputs = tokenizer("def fibonacci(n):", return_tensors="pt")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=64)[0]))Подробнее
Базовая модель: bigcode/starcoder2-3b (3B параметров), задача text-generation (код + текст).Конвертация проведена на CPU в Kaggle без доступа к сети с фиксацией
transformers==5.16.1.В карточке приведена команда
optimum-cli export openvino --weight-format int8 для полного воспроизведения сборки.









Comments