Prelude 9B mid-train stage 5
промежуточный чекпоинт с контекстом 64K
1 min read
Это промежуточные чекпоинты OpenEuroLLM Prelude 9B (9,09 млрд параметров) после пятого этапа mid-training на 64K контексте. В репозитории две ветки — d1 и d2 — с одинаковым рецептом поверх разных pretraining cooldown; это не финальные и не post-trained модели.
Ключевые особенности
- Две ветки: d1 больше веб-текста, d2 — больше reasoning-данных.
- Контекст 64K, обучение на длинных SFT-диалогах и документах.
- Токенизатор добавляет 6 ChatML-токенов; шаблон чата умеет thinking on/off.
- Stage 5 шёл с постоянным LR 2e-5, без decay и без RL.
- Обучение на 64 узлах JUPITER через Megatron-LM (TP4), экспорт в HF.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "marianna13/prelude-9b-midtrain-stage5-64k-step13984"
tok = AutoTokenizer.from_pretrained(repo, revision="d2")
model = AutoModelForCausalLM.from_pretrained(repo, revision="d2", torch_dtype="auto")
Подробнее
Бенчмарки d2: MMLU-Pro 42,3 (5-shot), GSM8K 81,0 (8-shot), HumanEval+ 78,7 с thinking on.Обучение stage 5: 58,5B токенов просмотрено, 49,2B обучено, GBS 64×64K.
Ограничения: math loops при thinking on (2,7–5,3% на AIME), слабая математика без thinking, постоянный LR без decay.
Лицензия Apache-2.0; требования к VRAM в карточке не указаны.










Comments