Qwen3-4B Computer Science

Это FP16-версия файнтюна Qwen3-4B Computer Science от Irfanuruchi в формате OpenVINO IR. Модель примерно на 4 млрд параметров и ~7,6 ГБ предназначена для локального инференса на CPU и сравнения точностей. Конвертация из BF16 в FP16 выполнена через Optimum Intel и OpenVINO 2026.4; это deployment-конвертация, а не дополнительное дообучение.

🧩 Ключевые особенности

• ⚙ Формат OpenVINO IR, FP16, без INT8/INT4-сжатия весов.
• 🧬 База — файнтюн Qwen3-4B Computer Science в BF16, около 4 млрд параметров.
• 💡 Конвертация через Optimum Intel; лицензия Apache 2.0.
• ⚡ CPU-инференс проверен на Intel Core Ultra 9 275HX и OpenVINO CPU backend.
• 📀 Размер ~7,6 ГБ; у модели есть отдельные варианты INT4 и INT8.
• 🎯 Для изучения CS, помощи с кодом и алгоритмами, отладки и локального запуска.

🐍 Пример

from transformers import AutoTokenizer
from optimum.intel import OVModelForCausalLM

model_id = 'Irfanuruchi/Qwen3-4B-Computer-Science-OpenVINO-FP16'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = OVModelForCausalLM.from_pretrained(model_id, device='CPU')
inputs = tokenizer('Explain binary search', return_tensors='pt')
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=128)[0], skip_special_tokens=True))

Подробнее

Бенчмарк на Intel Core Ultra 9 275HX: FP16 (7,6 ГБ) — 20,79 с и 7,70 tok/s на 160 токенов; INT8 (3,8 ГБ) — 10,17 с и 15,73 tok/s, примерно в 2,04 раза быстрее.
Замеры одиночные, без статистического контроля.
Intel GPU и NPU обнаружены, но их совместимость с этим экспортом не проверялась.
Полная оценка точности и регрессий не проводилась; сгенерированный код нужно проверять.