1pp-0.58b-v2-spp-base
базовый чекпоинт для изучения рефлексии при предобучении
2 мин чтенияобновлено
Исследовательская языковая модель от проекта 1PP (EPFL DLAB) на 0.58 миллиарда параметров, созданная как бейзлайн SPP{T0} (метод вставки рефлексии от первого лица в обучающие тексты для повышения безопасности). В отличие от стандартного претрейна на корпусе DCLM-edu, в 7,73 миллиона документов добавлены рассуждения после спецтокена , а специальная маска внимания запрещает последующему тексту «видеть» эту вставку. Это базовый претрейн-артефакт для учёных и инженеров, изучающих масштабирование и фильтрацию данных, а не готовый чат-ассистент.
Ключевые особенности
- Архитектура в стиле Llama: 24 слоя, скрытая размерность 1 152, FFN 4 608 (SwiGLU), RMSNorm и контекст 4 096 токенов.
- Обучена на 23,29 млрд токенов из корпуса DCLM-edu с использованием оптимизатора Muon для матриц и Adam для остальных параметров.
- Токенизатор на базе SmolLM2 (49 152 токена) дополнен служебными токенами
<|pad|>(49152) и(49153). - На выходе генерирует обычный текст или рефлексию от первого лица (до 256 токенов) при добавлении маркера
после текста документа.
Что можно сделать
- Сравнить поведение и качество генерации с парным «сырым» чекпоинтом 1pp-0.58b-v2-raw-base в рамках экспериментов по безопасности.
- Исследовать, как вставка рефлексий в претрейн-данные влияет на дальнейший SFT (дообучение с учителем) и выравнивание модели.
- Протестировать генерацию рефлексии на документах, передавая текст с закрывающим токеном
.
Пример
Чтобы вызвать генерацию рефлексии от первого лица, в конец текста документа добавляется спецтокен (учтите, что стандартное causal attention в Hugging Face позволяет тексту после рефлексии видеть её, хотя при обучении это блокировалось). Для формата диалога используется шаблон ChatML без системного промпта:<|im_start|>user
{message}<|im_end|>
<|im_start|>assistant
{reply}<|im_end|>
Подробнее
Validation loss (на 2 433 отложенных документах): 2.615 на тексте документов, 2.770 на тексте ассистента и 2.790 на тексте пользователя.Обучение: 11 106 шагов (глобальный батч 512 × 4 096 токенов) в точности bf16 с кросс-документным маскированием.
Ограничения: это базовый исследовательский чекпоинт, а не ассистент общего назначения; маркер конца рефлексии отсутствует.










Комментарии