Yebb Dense 0.8B Base

Экспериментальная dense-модель от sinksilk для генерации и продолжения текста на китайском и английском. Содержит 800 663 040 параметров, 24 decoder-слоя и собственный 64K tokenizer. Это промежуточный pretrained checkpoint без instruction tuning и preference alignment.

💡 Ключевые особенности

• ⚙ Архитектура: GQA с 12 query-головами и 4 KV-головами, RoPE, SwiGLU и RMSNorm.
• 🧬 Метка «40B» относится к effective prediction tokens при обучении, а не к числу параметров.
• 🌐 Обучение велось на китайских и английских образовательных данных, коде и математике.
• 🧊 Веса сохранены в FP32 в двух Safetensors-шастах; есть PyTorch-реализация с интерфейсом Transformers.
• 🛑 Это не чат-ассистент: модель рассчитана на plain text continuation и research/reproducibility.
• 🔎 Портативная реализация не использует KV cache и пересчитывает префикс; контекст длиннее 2 048 токенов не проверялся.

💡 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "sinksilk/Yebb-Dense-0.8B-Base"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype=torch.float32).eval()
ids = [tok.bos_token_id] + tok.encode("中国的首都是", add_special_tokens=False)
out = model.generate(input_ids=torch.tensor([ids]), max_new_tokens=32, do_sample=False, use_cache=False)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Внутренние проверки: fixed 1 024-question panel — 32,62%, ARC Challenge subset — 27,34%, CEval subset — 35,55%, HellaSwag subset — 35,94%. Это не официальные лидерборды.
Валидация экспорта шла на CPU с PyTorch 2.10.0 и Transformers 5.20.2. Модель может повторяться, ошибаться, выдавать пустые функции и неверные алгоритмы.
Лицензия весов и реализации — MIT; исходные обучающие материалы сохраняют свои условия.