Kaze-4.7B-A530M-MIT
компактная языковая модель Sparse MoE для локальных устройств
2 мин чтенияобновлено
Kaze-4.7B-A530M-MIT — это экспериментальная фундаментальная языковая модель, обученная с нуля разработчиком Kineyo под лицензией MIT. Модель использует архитектуру Sparse Mixture-of-Experts (разреженная смесь экспертов), благодаря чему при общем размере около 4.72B параметров на каждый токен задействуется всего около 528M параметров. Она оптимизирована для локальной и приватной работы на устройствах edge (CPU, Linux и Android), а также поставляется в готовом формате GGUF для llama.cpp и Kofu_Mobile. Модель ориентирована на исследования архитектур MoE, а также на задачи на испанском языке и работу с кодом.
Ключевые особенности
- Sparse MoE архитектура: содержит 1 общий эксперт и 31 маршрутизируемый эксперт (top_k = 2) с функцией SwiGLU.
- Эффективность на железе: около 528M активных параметров на токен снижают требования к вычислительным ресурсам при инференсе.
- Локальный запуск: полная поддержка запуска на CPU, Linux и в мобильном приложении Kofu_Mobile благодаря готовым весам в формате GGUF.
- Контекст и токенизация: поддерживает длину контекста до 4096 токенов и использует собственный Byte-Level BPE словарь на 32,768 токенов.
Что можно сделать
- Инференс на CPU и в терминале: запустить квантованную версию модели локально с помощью llama.cpp для приватных текстовых задач.
- Интеграция в мобильные приложения: использовать модель в проектах под Android через экосистему Proyecto Kofu.
- Исследование архитектур: изучить особенности обучения и работы компактных Sparse MoE моделей, созданных с нуля.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "shebxyd/Kaze-4.7B-A530M-MIT"
tok = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, dtype=torch.bfloat16, device_map="auto")
prompt = "<|user|>\nHola, ¿quién eres y para qué sirves?\n<|assistant|>\n"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128, temperature=0.65, top_p=0.9, repetition_penalty=1.18, do_sample=True)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Подробнее
Параметры: ~4.72B total / ~528M activeСлои: 23 слоя, d_model = 1024, GQA 16Q / 4KV
Ограничения: экспериментальная модель с обучением на корпусе под лицензией MIT, с упором на испанский язык и код
Форматы файлов: BF16 safetensors и cuantización Q4_K_M GGUF










Комментарии