Snowflake d1024 Base 262K
пре-SFT чекпоинт исследовательской MoE-лестницы
1 мин чтения
open-athena выложила базовую модель на 4,76 млрд параметров с архитектурой GrugMoeForCausalLM. Это BF16-чекпоинт после расширения контекста до 64K и 262K, до SFT на Datakit; для запуска нужен runtime с поддержкой Grug MoE.
Ключевые особенности
- Архитектура
grug_moe: 11 слоёв, hidden size 1024, 8 attention heads и 2 KV heads. - 256 routed experts, 4 активных на токен плюс shared expert; expert/shared intermediate size — 512/1024.
- Словарь на 128 256 токенов; настроенная длина контекста — 262 144 токена, sliding window — 2 048.
- BF16 safetensors без optimizer state; нативный шаг — 239 142.
- Нет chat template; stock Transformers не реализует архитектуру — нужны
SnowballConfigиSnowballLMHeadModelчерезload_hf_checkpoint.
Пример
Сценарий из карточки: загрузить чекпоинт через API Marin load_hf_checkpoint с SnowballConfig/SnowballLMHeadModel и использовать как base-модель для text-generation. Готового chat template нет.
Подробнее
Бенчмарков нет: карточка прямо говорит, что модель не тестировалась.Доступны варианты d512 и d768; это research artifact, не для продакшена без проверки.
При экспорте тензоры сверяли с исходным чекпоинтом после BF16; token IDs не менялись.
262K — значение конфигурации, оценка на такой длине не проводилась.










Комментарии