KorshZero-0.33B
карманный титан для разработчиков
2 мин чтения
Модель KorshZero-0.33B от разработчиков KorshLAB представляет собой компактную языковую модель на 325 миллионов параметров, обученную полностью с нуля без использования дистилляции (копирования знаний из чужих больших систем). Она специализируется на современном веб-дизайне, верстке интерфейсов и нативных автономных агентах. На выходе модель выдает быстрый и структурированный код, а благодаря открытой лицензии ее можно развернуть локально без отправки данных на внешние серверы. Новинка отлично подойдет для интеграции в локальные среды разработки, микросерверы и мобильные устройства.
Ключевые особенности
- Высокая скорость работы: выдает более 448 токенов в секунду на стандартном железе с минимальной задержкой ответа.
- Минимальный объем памяти: весит от 173 до 331 мегабайт в формате GGUF, что позволяет запускать ее на мини-ПК и смартфонах.
- Поддержка агентов: содержит встроенные токены для вызова внешних инструментов и выполнения задач ( и спецтеги).
- Фокус на веб-архитектуру: оптимизирована под написание кода на Tailwind CSS, создание Bento-сеток и интерфейсов.
Что можно сделать
- Сгенерировать UI-компоненты: создавать современные адаптивные интерфейсы с темной темой и стекломорфизмом прямо в локальном редакторе.
- Запустить на смартфоне или Raspberry Pi: развернуть языкового помощника на маломощном устройстве благодаря квантованным весам.
- Интегрировать в агенты: настроить автономную работу с вызовом функций с помощью нативных токенов управления.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "KorshLAB/KorshZero-0.33B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
prompt = "<|bos|><|system|>You are KorshZero-0.33B.<|eos|><|user|>Hello!<|eos|><|assistant|>"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0]))Подробнее
Архитектура: 33 слоя, SwiGLU активация, скрытый размер 896.Контекстное окно: 2048 токенов.
Требования к VRAM: от 200 MiB до 800 MiB в зависимости от выбранного уровня квантования (от Q2_K до F16).
Лицензия: Apache 2.0.










Комментарии