braid-commons-mamba3-1.5b
база Mamba-3 для системы Braid
2 мин чтенияобновлено
rao-studios выпустила braid-commons-mamba3-1.5b — 1,5-млрд «commons» для Braid, системы из Threads. Это перепакованные без изменений веса state-spaces/mamba3-mimo-1.5b в F32: 24 слоя шириной 2 048, Mamba-3 MIMO-миксер и gated MLP, без attention и KV-кэша. Сам по себе репозиторий не содержит Thread и не является чат-моделью.
Ключевые особенности
- Архитектура Mamba-3 MIMO: 24 слоя, 64 головы по 64, state 128, rank 4; RMS-нормы и gated MLP.
- Веса upstream не менялись: BF16 расширены до F32, 1 497,1M параметров; commons tail — 879,9M.
- Braid загружает commons один раз, а Threads добавляют свои блоки 0..<cut и корпус; в репозитории Thread нет.
- Токенизатор Llama 3.1 на 128 256 токенов, BOS 128000.
- Без Braid: transformers-класса для Mamba-3 нет, запуск — только upstream-чекпоинт и mamba_ssm.
- F32-файл весит 5,99 GB; состояние — 54,1 MB на поток при любой длине контекста.
Пример
braid import rao-studios/braid-commons-mamba3-1.5b --cut 12 --check
braid init --base braid-commons-mamba3-1.5b
braid thread create <thread> --corpus <dataset:…|dir:…|app:…>
braid
Подробнее
Гейт: конформность оракулу 4.005e-5 при пороге 1e-3; ER1 99,6%, ER2 100%, ER4′ 0,771, FR 93,3% (28/30).Пик F32 для commons и трёх Threads — 13,26 GiB; обучение upstream — 100B токенов FineWeb-Edu при контексте 2 048.
Ограничения: L2 и L4 не проходят, часть question path тоже; AT1 расходится на 98 позициях.
Thread-голова на 128 GB Apple Silicon идёт только при micro-batch 1: пик 41,37 GiB, 14,9 с на шаг из 8 строк по 512 токенов.










Комментарии