K2H c2-sft

K2H c2-sft — исследовательский чекпоинт (ветка 2) продолженного предобучения на базе IFM/K2-Horizon-MoVA-36B-A4B. Это MoE-модель на 36B параметров, из которых активны около 4B; архитектура, токенизатор и chat template совпадают с базой. Веса в bf16 safetensors, лицензия Apache-2.0.

⚙ Ключевые особенности

• 🧬 Дообучение: 100 шагов, длина последовательности 65 536, около 79M токенов; xLLM, FSDP2, bf16, 3 GPU.
• 📀 Смесь данных: 66% доменные срезы и код/PR, 10% verified replay, 24% chat/reasoning-записи.
• 🏆 Лучший результат по коду среди веток: HumanEval pass@1 69,5 (+16,5), MBPP pass@1 71,8 (+6,6).
• 🛑 Заметное падение IFEval: 68,6 против 84,3 (−15,7); chat GSM8K — 87,4 против 96,6 (−9,2).
• ⚙ Загрузка требует trust_remote_code=True; рекомендуется sampling temperature 1.0, top_p 0.95.

💡 Пример

Сценарий из карточки — работа с кодом и pull request’ами: модель дообучали в том числе на доменных code-бандлах и тексте PR. Её стоит сравнивать с релизной версией базы на HumanEval, MBPP и held-out PR NLL, а не оценивать изолированно.

Подробнее

Это research checkpoint, не release candidate.
HumanEval: 53,0 → 69,5; MBPP: 65,2 → 71,8; IFEval: 84,3 → 68,6.
PR NLL: 1,519 → 1,323 (ниже лучше).
46 ответов не закрыли reasoning в пределах 14k токенов; в SFT-снимке около 16% дефектных chat-записей.
Обучение шло на 3 GPU; требований к VRAM для инференса карточка не приводит.