K2H traj-lr5e6 step 300

Это исследовательский checkpoint от Avifenesh — 300-й шаг continued pretraining базовой IFM/K2-Horizon-MoVA-36B-A4B. Архитектура та же: MoE на 36B параметров, около 4B активных, tokenizer и chat template не менялись. Цель — усилить домен LLM inference и ML systems engineering, сохранив общие навыки.

➕ Ключевые особенности

• ➕ Continued pretraining базы IFM/K2-Horizon-MoVA-36B-A4B: 36B total, ~4B active, MoE.
• 🔤 Домен: inference и kernel repositories, Linux, commit history, PR-обсуждения и verified replay.
• 🟰 Общие способности держат уровень релиза: MMLU 77.3 → 77.0, GSM8K chat 96.6 → 96.3.
• ✖ Заметный рост на коде: HumanEval pass@1 53.1 → 67.1, MBPP pass@1 65.2 → 70.8.
• ➖ Held-out PR NLL улучшился: 1.520 → 1.319 (меньше — лучше).
• 🔜 300 шагов, seq length 65 536, batch 1 на GPU с grad accumulation 4, ~236M токенов всего.

🔤 Пример запуска

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Avifenesh/k2h-traj-lr5e6-s300"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)

Подробнее

HumanEval pass@1: 53.1 → 67.1; MBPP pass@1: 65.2 → 70.8; held-out PR NLL: 1.520 → 1.319.
Общие бенчмарки почти без изменений: MMLU 77.3 → 77.0, GSM8K chat 96.6 → 96.3.
36B total / ~4B active MoE, bf16 safetensors, trust_remote_code=True; обучение — 300 шагов, seq 65 536, ~236M токенов на 3 GPU.
Это исследовательский checkpoint, не release candidate; при LR 1.5e-5 ломался формат ответа.