prelude-base 100%

Это финальный чекпоинт openeurollm/prelude-base (ревизия anneal2t_multilingual1_dominant1_iter_1192093): 100% претрейна, около 10T токенов, 9,09 млрд параметров. Архитектура Qwen3-style dense: 36 слоёв, hidden 4096, FFN 12288, 32 головы внимания / 8 KV-групп. Веса не менялись — только config.json с YaRN RoPE для окна 163840 токенов; обучение не проводилось.

✨ Ключевые особенности

• 🔥 YaRN: factor 11.9, rope_theta 813000, max_position_embeddings 163840.
• ✅ Полезное окно — 163840 токенов; прирост NLL на коротком контексте +0.31.
• ✔ Perplexity: 4.85 в полосе 64K–128K и 6.45 в 128K–160K.
• ❌ За 163840 уходить нельзя: следующая полоса сломана, ppl 235.
• 💻 Конфиг читают и старые/новые transformers, и vLLM.
• 📚 Это base-модель без instruction tuning и safety alignment.

💻 Пример

vllm serve <model> --max-model-len 163840

Подробнее

Заменяет ранний 128K-конфиг: тот же короткий контекст, но окно ломается сразу после 131072.
Требования к VRAM в карточке не указаны.
Это только репараметризация RoPE, без continued pretraining; downstream-бенчмарки и retrieval-тесты не проводились.
Если дообучаете, сохраняйте этот конфиг: веса адаптируются к параметризации.