1pp-2.81b-v2-ua-rawanneal-seed1234-sft

Это research-артефакт проекта One Persona Pretraining (EPFL DLAB) от Raghav-Singhal: Llama-style decoder на 2.81B параметров, обученный с нуля и затем прошедший SFT. Относится к «лестнице» v2: размеры 0.58B, 0.98B, 1.66B и 2.81B, разные условия и seed. Это mid-training вариант: cooldown-этап выполнен на 1PP-диалогах вместо документов.

🧐 Ключевые особенности

• 🚀 24 слоя, hidden 2,688, FFN 10,752 (SwiGLU), 21 attention head / 7 KV head, RoPE base 10,000, длина контекста 4,096.
• 🧐 Токенизатор SmolLM2 (49,152) плюс <|pad|>; <|endoftext|> — конец документа.
• 🔥 SFT: один epoch на миксе ~400k диалогов, включая model-raising-pb-100k-3c-mt-sft и sp-sft-normal-300k.
• 👀 ChatML без system-turn; модель никогда не видела системные сообщения.
• ⛔ Это исследовательский артефакт, а не general-purpose ассистент.

🚀 Пример

Формат чата из карточки:

<|im_start|>user
{message}<|im_end|>
<|im_start|>assistant
{reply}<|im_end|>

Подробнее

Validation loss: assistant text — 1.397, user text — 1.309, document text — 2.848.
Held-out SFT loss на assistant-токенах: 1.743.
Требования к VRAM в карточке не указаны; язык — английский.
Веса сверены с Megatron-checkpoint: расхождение по loss 0.0000.