K2-Horizon-4x0.9B-MoE-heretic

Экспериментальная MoE-модель на базе IFM/K2-Horizon-0.9B: четыре эксперта, top-1 routing и softmax-роутер. Всего 3.06B параметров, из них 1.08B активны на токен; контекст — 128K (YaRN), вес в bf16 — 6.1 GB. Автор собрал экспертов из RL-чекпоинтов base-модели и снял отказы через Heretic.

🧐 Ключевые особенности

• 🔥 4 эксперта в каждом слое: MLP из чекпоинтов main, rl_code2, rl_if и rl_stem; attention, embeddings, norms и lm_head — из main.
• 👀 Heretic 2.0.0.dev0 с Arbitrary-Rank Ablation: изменены 14 тензоров в слоях 13–19, отказы снижены до 3/100.
• 💯 Reasoning-модель: ответ идёт после блока <ifm|think> … </ifm|think>, параметр reasoning_effort принимает high, medium и low.
• 🤔 Нужны transformers 5.x и trust_remote_code=True; llama.cpp/GGUF, Ollama, MLX и LM Studio архитектуру не поддерживают.
• ⛔ Модель без цензуры: отказы в основном убраны, ответственность за выводы — на пользователе.

🚀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'Lucasgitguy-co/K2-Horizon-4x0.9B-MoE-heretic'
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, dtype='bfloat16', trust_remote_code=True, device_map='auto')
msgs = [{'role': 'user', 'content': 'Explain how a transformer works in two sentences.'}]
text = tok.apply_chat_template(msgs, add_generation_prompt=True, tokenize=False, reasoning_effort='high')
ids = tok(text, return_tensors='pt', add_special_tokens=False).to(model.device)
out = model.generate(**ids, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95)

Подробнее

Отказы: 3/100 против 100/100 у базы; ARC-Easy: 0.570 acc / 0.560 acc_norm.
Эксперты отличаются от main примерно на 0.05% весов, поэтому модель ведёт себя почти как база, но занимает в 3 раза больше места.
Роутер и эксперты не обучали; тестировали только на Apple M4 (MPS, bf16).