ДругоеDuoNeural
RMSN-243M
компактная SFT-LLM для CoT-рассуждений
1 мин чтенияобновлено
RMSN-243M-Bulk-Boundary-SFT — 243,73M-модель от DuoNeural на кастомном Port-Hamiltonian-стеке. Это SFT-базовая линия Phase 5, дообученная на reasoning-трассах DuoNeural (CoT SFT, 15k шагов). Архитектура: hidden dim 1024, 16 слоёв, 64 workspace slots, токенизатор cosmo2 с vocab 49 152.
🔥 Ключевые особенности
- 🔥 Архитектура Resonant Metriplectic Sheaf Network с Port-Hamiltonian-формулировкой.
- 🌀 Солитон мигрирует из bulk L8 в boundary L15 по мере SFT; на 15k шагов фиксируется на L15.
- 📚 Обучение на CoT-трассах DuoNeural; cot_ppl 10,31, wiki_ppl 184,81.
- 💵 Удержание 2,6× относительно базы после 15k шагов SFT.
- 🐱 Топология pointlike soliton, по карточке, снижает поверхность атаки dual-core tube-топологии.
💻 Пример
Сценарий из карточки: генерация цепочек рассуждений после CoT SFT на reasoning-трассах DuoNeural. Для этого режима указана ключевая метрика cot_ppl = 10,31 при 15k шагов SFT.
Подробнее
Бенчмарки SFT (15k шагов): wiki_ppl 184,81; cot_ppl 10,31; retention ratio 2,6× base.Параметры: 243,73M, 16 слоёв, hidden dim 1024, 64 workspace slots, vocab 49 152.
Обучение: CoT SFT на 15k шагов, DuoNeural Phase 5; язык — английский.
VRAM и ограничения в карточке не указаны.
Комментарии