Slayer1B 1.08
экспериментальный чекпоинт с проваленным guard
2 min readupdated
Slayer1B 1.08 от SlayerLab / Fabryka AI — базовая decoder-only LLM на 1,07 млрд параметров с польско-доминантным словарём на 32 768 токенов. Она продолжает архитектуру и токенизатор Slayer1B 1.07 и предназначена для causal text continuation, а не для instruction tuning. Это экспериментальный чекпоинт: три endpoint-улучшения подтверждены, но retention guard ARC-Easy провален, поэтому 1.08 не считается принятым преемником 1.07.
Ключевые особенности
- Архитектура и токенизатор сохранены от 1.07: 1 073 912 851 параметр, 32 768-токенный v6 vocabulary.
- Цель — больше польского аналитического и английского технического текста при сохранении общего языкового покрытия.
- Задача — causal text continuation; модель не проходила instruction tuning.
- Формально это не принятый преемник 1.07: любой провал guard блокирует приёмку, даже при росте endpoint-метрик.
- Веса открыты под Apache-2.0; исходные корпуса сохраняют собственные обязательства.
Пример
Сценарий из карточки — продолжение польского аналитического или английского технического текста. На вход подаётся начало документа, а модель выдаёт продолжение как base-LLM; это не чат-режим и не следование инструкциям.
Подробнее
Три подтверждённых показателя: польская математика pass@1 6,33% → 12,00%, польская логика bpb 0,78727 → 0,70895, английский technical VALID bpb 0,66661 → 0,38549.Guard ARC-Easy: 58,67% → 56,19%, ниже допустимого −1,00 pp — FAIL; BLiMP прошёл почти на границе.
Обучение: 8×NVIDIA B200, 1 709 обновлений, ≈1,79 млрд обработанных позиций; заявленная стоимость тренировки ≈$7,73.
Ограничение: technical VALID делит источники с TRAIN, это не доказательство обобщения; replay-only контроля нет, поэтому разница с 1.07 смешивает данные, свежий оптимизатор и LR decay.










Comments