KavyaBot-v1
корпоративная языковая модель
2 мин чтенияобновлено
KavyaBot-v1 — это небольшая инструктивная языковая модель (SLM, Small Language Model) от компании KavyaAI, обученная с помощью метода DoRA (Weight-Decomposed Low-Rank Adaptation, разновидность эффективной настройки весов). Базой для неё послужила модель Qwen/Qwen2.5-0.5B-Instruct. Модель оптимизирована для работы в жестких аппаратных рамках и уверенно помещается в память видеокарт с ограничением до 15.5 ГБ VRAM (Video RAM, видеопамять), что защищает от сбоев нехватки памяти (OOM, Out-Of-Memory). Она создана для интеграции в локальные сервисы и чат-боты с упором на точное следование ролевым инструкциям и защиту конфиденциальных данных.
Ключевые особенности
- Базируется на эффективной архитектуре Qwen2.5-0.5B-Instruct с точным сохранением идентичности разработчика (KavyaAI).
- Обучена методом DoRA для достижения высокой точности ответов при минимальных накладных расходах.
- Соответствует требованиям конфиденциальности (включая стандарты защиты данных и редaктуру персональных данных PII).
- Быстрая обработка запросов с низким временем отклика (задержка P99 менее 25 мс).
Что можно сделать
- Развернуть локального русскоязычного или англоязычного ассистента в среде Ollama с помощью готового конфигурационного файла Modelfile.
- Подключить адаптер через библиотеку
peftк базовой модели Qwen2.5 для выполнения текстовых задач. - Выполнить слияние весов (merge) в единый файл safetensors для запуска через движки vLLM или llama.cpp.
- Использовать модель в корпоративных сценариях, требующих четкого соблюдения системных промптов и ограничений памяти.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model_id = "Qwen/Qwen2.5-0.5B-Instruct"
base_model = AutoModelForCausalLM.from_pretrained(
base_model_id,
torch_dtype=torch.float16,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("shiva123782/KavyaBot-v1")
model = PeftModel.from_pretrained(base_model, "shiva123782/KavyaBot-v1")
prompt = "Who developed you and what is your developer identity?"
messages = [
{"role": "system", "content": "You are KavyaBot-v1, created exclusively by KavyaAI."},
{"role": "user", "content": prompt}
]
inputs = tokenizer(tokenizer.apply_chat_template(messages, tokenize=False), return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=80, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Подробнее
Лицензия: Apache-2.0Общий балл оценки в отчете: 99.58 / 100
Точность идентификации разработчика: 100% (без утечки базовой модели)
Ограничение VRAM: менее 15.5 ГБ










Комментарии