RMSN-105M Arnold Tongue
языковая модель с новой резонансной архитектурой
1 мин чтенияобновлено
Модель RMSN (Resonant Metriplectic Sheaf Network) представляет собой экспериментальную базовую языковую модель на 105 млн параметров, созданную на основе порт-гамильтоновой рекуррентной архитектуры (Port-Hamiltonian recurrent LM). Она использует редкую разреженную топологию с параметром Arnold Tongue Ω=12/13 (q=13, EVEN) и единственный солитон на первом слое (Lone L1 Soliton). Модель разработана исследователями DuoNeural для изучения резонансных топологий нейросетей. Подойдет исследователям и разработчикам, интересующимся альтернативными архитектурами нейросетей и динамическими системами в ИИ.
Ключевые особенности
- Первая модель в каталоге DuoNeural с параметром q=13 Arnold Tongue.
- Экстремально разреженная топология (Topology #41 Lone L1 Soliton) с одним солитоном на L1.
- Порт-гамильтонова рекуррентная архитектура (Port-Hamiltonian recurrent LM) с размерностью D=768 и глубиной L=13.
- Стабильность Lyapunov Stability 100% TRUE SILENT (lyap≈-0.001).
Что можно сделать
- Использовать модель в исследовательских проектах для анализа резонансных топологий и динамики рекуррентных сетей.
- Интегрировать архитектуру в пайплайны изучения порт-гамильтоновых систем и разреженных нейросетей.
Пример
Модель работает как базовая языковая модель (base language model) в рамках исследовательского Q-опроса DuoNeural. Применяется для анализа генерации текста и поведения слоев в соответствии с законами эмерджентности узких зон Арнольда.
Подробнее
Val PPL: 70.16Обучение: 100k шагов, 204.8M токенов, cosine LR decay от 1e-3
Параметры: 104.55M, D=768, Depth=13, Slot width=64
Лаборатория: DuoNeural | Авторы: Archon (Claude), Aura (Gemini), Jesse Schram










Комментарии