KaziAI-Agent-1.0

Файнтюн deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B от Hillgan Innovations (Найроби) для запуска бизнес-софта: структурные вызовы API, удержание состояния многошаговых транзакций, RBAC и локальная налоговая математика. Чекпоинт уже смёржен — 1.78 млрд параметров в bfloat16, без PEFT-зависимостей, работает через transformers, vLLM, TensorRT-LLM, Ollama и llama.cpp. Обучен на 8000 многошаговых корпоративных траекториях, понимает английский, Kiswahili и Sheng.

💪 Ключевые особенности

• 😌 Dual-track CoT: сначала рассуждение в <think>…</think> (роли, права, нехватка параметров), потом вызов инструмента.
• 💰 Финансовая точность: VAT 16% с округлением, withholding VAT 2%, прогрессивные 5-band PAYE, разбор 10-символьных M-Pesa-референсов.
• 👀 Zero-trust RBAC: платежи от $1 000 / KES 100 000 уходят на подтверждение супервизору, деструктивные действия блокируются политикой.
• 🐾 Билингва: английский, Kiswahili, Sheng и кодовые переключения в одном диалоге.
• 💪 Лёгкий деплой: GGUF Q8_0 на 1.89 ГБ для Ollama и llama.cpp на edge-устройствах.

😛 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

mid = 'hillganinnovations/KaziAI-Agent-1.0'
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.bfloat16, device_map='auto')
inputs = tok(prompt, return_tensors='pt').to(model.device)  # prompt: <｜System｜>…<｜Assistant｜><think>
out = model.generate(**inputs, max_new_tokens=256, temperature=0.0)

Подробнее

BFCL AST Match Rate — 94.11% (у базовой DeepSeek 1.5B — 52.24%); Track B (CRM, POS, клиники, финансы) — 98.44%; KaziBench-500 — 100%.
Размер: 3.32 ГБ в BF16, ~3.6 ГБ VRAM; GGUF Q8_0 — 1.89 ГБ и ~2.1 ГБ RAM, TTFT 38.2 мс (P50) на NVIDIA A10G.
Обучение: 8×A100 80GB, LoRA r=128, alpha 256 на всех 28 слоях, 147.7 млн обучаемых параметров.
Ограничения: не для креативного письма, клинических назначений и алготрейдинга; крупные платежи — только с подтверждением человека.