1⃣ DeepSeek-R1-Distill-Qwen-1.5B OpenVINO

OpenVINO IR-конверсия модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с квантизацией весов INT8 (NNCF), собранная на CPU-only Kaggle через optimum-cli. База — Qwen2ForCausalLM на 1.5B параметров (MIT), дистилляция reasoning в стиле R1 поверх Qwen2.5-1.5B. Задача — text-generation.

▶ Ключевые особенности

• ➖ Веса INT8, активации FP16/FP32 как в трассировке — ставка на инференс без GPU.
• 3⃣ Три IR-части: openvino_model, openvino_tokenizer, openvino_detokenizer.
• 🔤 Контекст 131072 от базовой Qwen2.5; для лучших результатов промпт в формате <｜think｜.
• ➕ Конвертация воспроизводима одной командой optimum-cli export openvino.
• ➖ Собрано с pinned transformers==5.16.1: в образе Kaggle 5.20.2 убрали VisionRotaryEmbedding, который импортирует optimum-intel 2.2.0.

🔤 Пример

from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer

model = OVModelForCausalLM.from_pretrained("Nekodeus/deepseek-r1-distill-qwen-1-5b-openvino")
tok = AutoTokenizer.from_pretrained("Nekodeus/deepseek-r1-distill-qwen-1-5b-openvino")
inputs = tok("How many primes are there below 100? Let's think step by step.", return_tensors="pt")
print(tok.decode(model.generate(**inputs, max_new_tokens=128)[0]))

Подробнее

Бенчмарков в карточке нет — только описание конверсии.
Квантизация weight-only INT8, активации FP16/FP32; ориентир на CPU через optimum-intel или OpenVINO GenAI.
Версии: optimum-intel 2.2.0, openvino 2026.4.1, transformers 5.16.1.
Для C++ есть ov::genai::LLMPipeline с устройством «CPU».