RMSN-243M
компактная SFT-LLM для CoT-рассуждений
1 min readupdated
RMSN-243M-Bulk-Boundary-SFT — 243,73M-модель от DuoNeural на кастомном Port-Hamiltonian-стеке. Это SFT-базовая линия Phase 5, дообученная на reasoning-трассах DuoNeural (CoT SFT, 15k шагов). Архитектура: hidden dim 1024, 16 слоёв, 64 workspace slots, токенизатор cosmo2 с vocab 49 152.
Ключевые особенности
- Архитектура Resonant Metriplectic Sheaf Network с Port-Hamiltonian-формулировкой.
- Солитон мигрирует из bulk L8 в boundary L15 по мере SFT; на 15k шагов фиксируется на L15.
- Обучение на CoT-трассах DuoNeural; cot_ppl 10,31, wiki_ppl 184,81.
- Удержание 2,6× относительно базы после 15k шагов SFT.
- Топология pointlike soliton, по карточке, снижает поверхность атаки dual-core tube-топологии.
Пример
Сценарий из карточки: генерация цепочек рассуждений после CoT SFT на reasoning-трассах DuoNeural. Для этого режима указана ключевая метрика cot_ppl = 10,31 при 15k шагов SFT.
Подробнее
Бенчмарки SFT (15k шагов): wiki_ppl 184,81; cot_ppl 10,31; retention ratio 2,6× base.Параметры: 243,73M, 16 слоёв, hidden dim 1024, 64 workspace slots, vocab 49 152.
Обучение: CoT SFT на 15k шагов, DuoNeural Phase 5; язык — английский.
VRAM и ограничения в карточке не указаны.










Comments