SFT-файнтюн Prelude 9B
управляемое размышление
1 min readupdated
OpenEuroLLM выложил SFT-версию контекстно-расширенной midtrain-модели Prelude от Marianna. Это 9,09B text-generation модель, дообученная две эпохи на OpenEuroLLM-Excellent-SFT с собственным токенизатором и thinking-conditioned Qwen-style шаблоном.
Ключевые особенности
- Дообучение на Excellent-SFT: 2 эпохи и 55 892 шага.
- Контекст до 32 768 токенов, packing включён.
- Режим размышления:
/thinkили без инструкции для reasoning-примеров;/no_thinkдля прямых ответов. - Управление через
enable_thinkingи опциональныйthinking_instruction("think","no_think",None). - Loss только по ответам ассистента; частично обрезанные ответы отбрасывались.
- В репозитории только inference-веса и токенизатор, без optimizer state.
Пример
Промпт с /think включает режим размышления, а с /no_think модель должна отвечать сразу. Для inference используйте токенизатор и chat template, поставляемые с чекпоинтом.
Подробнее
Обучение шло на 32 NVIDIA H100 (8 узлов MareNostrum 5), BF16, FlashAttention 3, Liger и DeepSpeed ZeRO-2.Обработано 58,37 млрд входных токенов и 54,73 млрд supervised-целей за две эпохи.
Бенчмарков и требований к VRAM в карточке нет; отдельная лицензия чекпоинта не назначена — смотрите лицензии базовой модели и датасета.










Comments