SLM-CadCamCfd-Expert-1.5B

Это компактная языковая модель на 1,54 млрд параметров, созданная на базе Qwen2.5-Coder-1.5B-Instruct. Автор — Bhavanam Rajendra Reddy (Runtime-Slayers). Модель заточена под генерацию кода и скриптов для MATLAB, Blender, STAR-CCM+/OpenFOAM, CATIA/Siemens NX и 5-осевой ЧПУ.

🧐 Ключевые особенности

• 🧐 «Хирургия весов»: обновлены только слои 16–26, дельта спроецирована в нулевое пространство; слои 0–15 и 27 заморожены.
• 🔥 Поддержка MATLAB R2018a–R2026a, Blender 5.1+, STAR-CCM+/OpenFOAM, CATIA V5/Siemens NX и ISO 6983 G-code.
• 🚀 Архитектура Qwen2.5-Coder: 28 слоёв, hidden 1536, GQA 6:1, контекст 32k; лимит — менее 2 млрд параметров.
• 👀 Внутренние демо включают аэрокосмический CAD, автомобильную аэродинамику, трансзвуковой CFD и G-code для блиска.

🚀 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
base = "Qwen/Qwen2.5-Coder-1.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float32, device_map="auto")
delta = load_file(hf_hub_download("BRR1154/SLM-CadCamCfd-Expert-1.5B", filename="surgical_weights_delta.safetensors"))

Подробнее

Бенчмарки в карточке относятся к базовой Qwen2.5-Coder-1.5B-Instruct: HumanEval 70.1%, MBPP 70.4%, MultiPL-E MATLAB ~48.5%.
Внутренние демо проверяли в MATLAB R2024b, Blender 5.1 и Scientific Python; это не публичный бенчмарк.
VRAM не указан; нужны base-модель и отдельный surgical_weights_delta.safetensors.
Ограничение: автор ещё дообучает модель, чтобы поднять MultiPL-E MATLAB до 70%+.