Tensor 1.5
крошечный English-only ассистент для слабого железа
1 min readupdated
Tensor 1.5 — компактная разговорная языковая модель от VGribAI, собранная с нуля. Это завершённый ассистент после supervised fine-tuning, а не base-checkpoint: модель следует чат-формату и останавливается на своём конце реплики. При 50,26 млн параметров она рассчитана на короткие ответы и слабое железо.
Ключевые особенности
- Обучена с нуля и прошла SFT: поддерживает чат-формат, роли и стоп-токены <|im_end|> и <|eos|>.
- Всего 50,26 млн параметров; заявлена работа на CPU, старых ноутбуках, одноплатниках и телефонах.
- Только английский: токенизатор, pretraining и fine-tuning — English-only.
- Контекст 512 токенов, ответ по умолчанию — до 64 токенов.
- Архитектура Qwen2-style: 12 слоёв, hidden 640, GQA 8 query / 2 KV heads, SwiGLU; словарь 4000 byte-level BPE.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("tensor-1.5")
model = AutoModelForCausalLM.from_pretrained("tensor-1.5")
msgs = [{"role": "user", "content": "Who are you?"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt")
out = model.generate(ids, max_new_tokens=64, eos_token_id=[0, 2], pad_token_id=2)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарков в карточке нет.Параметры: 50,26M, fp32 safetensors + f16 GGUF; ориентир — CPU, старые ноутбуки, одноплатники и телефоны.
Ограничения: только английский, контекст 512 токенов, ответ до 64 токенов, нет надёжных фактов, арифметики и длинных рассуждений.
Память ограничена текущим контекстом.










Comments