K2H S1 final

K2H S1 final — это чекпоинт после второго этапа дообучения IFM/K2-Horizon-MoVA-36B-A4B: 36B параметров всего и около 4B активных, архитектура MoE. Модель специализировали под LLM-инференс и инженерию ML-систем, сохранив общие навыки, следование инструкциям и tool calling; основной прирост — в коде.

🔥 Ключевые особенности

• 🦾 База — K2-Horizon-MoVA-36B-A4B; те же архитектура, токенизатор и chat template.
• ✅ Заметно лучше решает задачи на код: HumanEval 68.9 против 53.1, MBPP 72.2 против 65.2 у релиза.
• 🤝 Tool calling удержан: добавлен якорь на 8 787 ответах, чтобы компенсировать просадку BFCL.
• 📉 Длинный контекст до 524 288 токенов; на 32k–64k возможна небольшая просадка, на 128k — выше по точечной оценке.
• ❤ Веса в bf16 safetensors, загрузка с trust_remote_code=True.

✅ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Avifenesh/k2h-s1-final"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, torch_dtype="bfloat16")
inputs = tok("Explain MoE inference.", return_tensors="pt")
out = model.generate(**inputs, temperature=1.0, top_p=0.95)

Подробнее

Бенчмарки: IFEval 84.9 против 83.7, MMLU 77.3 без изменений, BFCL немного ниже, но разница незначима.
Длинный контекст: RULER 32k — 86.8, 64k — 81.3, 128k — 81.6; на 32k–64k возможна просадка в несколько пунктов.
Few-shot GSM8K просел на 2.3 пункта, chat GSM8K и MATH-500 держатся.
Обучение: 150 шагов, около 118M токенов, 3 GPU, bf16 и FSDP2.