Nanbeige4.3-33B-Unlocked-Uncensored-Heretic

Это decensored-версия Nanbeige4.3-33B от SolsticeAI, полученная через Heretic v2.0.0. У модели 33,12B параметров, задача text-generation, библиотека transformers; заявленные языки — en и zh. Базовая Nanbeige4.3-33B ориентирована на агентное кодирование и профессиональные cowork-задачи.

🔮 Ключевые особенности

• 🔮 Снижены отказы: 12/100 против 98/100 у оригинальной модели по classifier.
• 📚 Результат воспроизводим: в карточке есть каталог reproduce с README.
• 🧘‍♀ Применён Arbitrary-Rank Ablation (ARA): слои 3–48, neighbor_count 3, веса preserve/steer/overcorrect.
• 💻 Наследует агентные возможности базы: Nanbeige4.3-33B лидирует на большинстве приведённых бенчмарков agentic coding и cowork среди моделей ~30B.
• 📖 Контекст до 524 288 токенов (512K); шаблон чата поддерживает reasoning и tool-use.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "SolsticeAI/Nanbeige4.3-33B-Unlocked-Uncensored-Heretic"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto", trust_remote_code=True)
inputs = tok.apply_chat_template([{"role": "user", "content": "Привет!"}], add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=256)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))

Подробнее

Отказы (Classifier): 12/100 против 98/100 у Nanbeige4.3-33B.
KL divergence: 0.0244.
ARA: start_layer_index 3, end_layer_index 48, preserve_good_behavior_weight 0.9238, steer_bad_behavior_weight 0.0016, overcorrect_relative_weight 0.4114, neighbor_count 3.
В карточке нет требований к VRAM/железу; базовые языки — en и zh.