Spark-x2.6-4B-HTML

Это файнтюн XHToken/Spark-X2.6-4B от wesjos на 4,11 млрд параметров под лицензией Apache-2.0. Вместо обычного текста модель генерирует HTML-карточки, таблицы, метрики и callout-блоки для встроенного WebUI. Контекст — до 1 048 576 токенов.

🎨 Ключевые особенности

• 🎨 На выходе HTML, а не Markdown: карточки, сетки, таблицы, metric tiles, callout и code-box.
• ⚙ Архитектура Spark2_5ForCausalLM: 36 слоёв, 9 full-attention и 27 sliding-attention с окном 512, hidden 2560.
• 🧳 bf16-чекпоинт весит 7,66 GiB и идёт одним шардом; есть GGUF-варианты Q4_K_M на 2,42 GiB и Q8_0 на 4,07 GiB.
• 💻 В репозитории есть WebUI с live-рендером HTML, панелью <think>, raw-source view и пятью темами.
• ⌨ Нужен transformers>=5.0.0: tokenizer_class TokenizersBackend не работает на 4.57.1.
• 🚀 llama.cpp поддерживает spark2_5 с b10828; GGUF уже несёт свой chat template.

🔎 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL = "wesjos/Spark-x2.6-4B-HTML"
tok = AutoTokenizer.from_pretrained(MODEL, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(MODEL, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "can u show me what ReLU looks like?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", enable_thinking=True, reasoning_effort="low").to(model.device)
out = model.generate(**inputs, max_new_tokens=8192)

Подробнее

Демо с ReLU: 30,09 с, 129 tok/s, 3882 токена.
bf16-чекпоинт — 7,66 GiB; GGUF Q4_K_M — 2,42 GiB.
Метаданных обучения нет: ни размера данных, ни шагов, ни rank.
Вывод нужно рендерить с theme.css; tool use наследуется и не аудирован.