Spark-X2.6-4B Tema_Q-Abliterated

Это uncensored-версия XHToken/Spark-X2.6-4B от MC7ever: 4,11 млрд параметров, text-generation на transformers. Модель обработана инструментом Tema_Q-Abliterated v1.1.1 (SCAPE), который убирает поведение отказа через абляцию направления отказа в весах, сохраняя общее качество.

🤓 Ключевые особенности

• 🗣 Убрано поведение отказа: 0/100 отказов при полной генерации.
• 🤓 KL divergence к базовой модели — 0.0353, проверка collapse — OK.
• 😎 Генерирует текст как базовая Spark-X2.6-4B; 4,11 млрд параметров.
• 🫡 Поддерживаемые языки — en и zh.
• 📝 Абляция сделана Tema_Q-Abliterated v1.1.1 (SCAPE); параметры заданы по слоям для attn.o_proj и mlp.down_proj.

📝 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MC7ever/Spark-X2.6-4B-Tema_Q-Abliterated_preview"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "What is the capital of Anhui Province?"}]
inputs = tok.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Подробнее

Отказы при полной генерации: 0/100.
KL divergence к базовой модели: 0.0353; проверка collapse — OK.
Языки: en и zh. Модель можно использовать как базовую через transformers, vLLM, SGLang, llama.cpp и Ollama.
Для абляции инструменту Tema_Q-Abliterated достаточно CPU.