SFT-файнтюн Prelude 9B

OpenEuroLLM выложил SFT-версию контекстно-расширенной midtrain-модели Prelude от Marianna. Это 9,09B text-generation модель, дообученная две эпохи на OpenEuroLLM-Excellent-SFT с собственным токенизатором и thinking-conditioned Qwen-style шаблоном.

1⃣ Ключевые особенности

• ➕ Дообучение на Excellent-SFT: 2 эпохи и 55 892 шага.
• ▶ Контекст до 32 768 токенов, packing включён.
• 🔜 Режим размышления: /think или без инструкции для reasoning-примеров; /no_think для прямых ответов.
• 🔙 Управление через enable_thinking и опциональный thinking_instruction ("think", "no_think", None).
• ✖ Loss только по ответам ассистента; частично обрезанные ответы отбрасывались.
• 🟰 В репозитории только inference-веса и токенизатор, без optimizer state.

2⃣ Пример

Промпт с /think включает режим размышления, а с /no_think модель должна отвечать сразу. Для inference используйте токенизатор и chat template, поставляемые с чекпоинтом.

Подробнее

Обучение шло на 32 NVIDIA H100 (8 узлов MareNostrum 5), BF16, FlashAttention 3, Liger и DeepSpeed ZeRO-2.
Обработано 58,37 млрд входных токенов и 54,73 млрд supervised-целей за две эпохи.
Бенчмарков и требований к VRAM в карточке нет; отдельная лицензия чекпоинта не назначена — смотрите лицензии базовой модели и датасета.