Veloxy-SLM-3B

Veloxy-SLM-3B — это 3,09 млрд параметров (Dense) на базе Qwen/Qwen2.5-3B-Instruct. Модель дообучена на турецком ядре через Completion-Only LoRA SFT и объединена в BF16 safetensors. Заявлена для логических рассуждений, повседневной переписки и общих научных вопросов на турецком и английском.

🤖 Ключевые особенности

• 🤖 3,09B Dense на архитектуре Qwen2.5-3B-Instruct.
• 🌍 Поддержка турецкого и английского языков.
• 💻 Контекст 32 768 токенов, формат ChatML и completion-only loss masking.
• ⭐ GGUF-кванты: Q8_0, Q6_K, Q4_K_M, IQ3_M — от 1,49 до 3,29 GB.
• 🔥 Скорость: 140+ ток/с на A100 и 70–90 ток/с на T4/потребительских GPU.
• ✅ Лицензия Apache 2.0.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "zveloxy/Veloxy-SLM-3B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
msgs = [{"role": "user", "content": "Привет!"}]
prompt = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)

Подробнее

Бенчмарки в карточке не указаны.
GGUF: Q8_0 — 3,29 GB, Q6_K — 2,54 GB, Q4_K_M — 1,93 GB, IQ3_M — 1,49 GB. Q4_K_M заявлен для GPU с 4 GB VRAM и CPU.
Скорость: 140+ ток/с на A100, 70–90 ток/с на T4/потребительских GPU.
Модель распространяется по Apache 2.0 и поставляется в BF16 safetensors.