RMSN-193M-Shallow-Soliton

RMSN-193M-Shallow-Soliton от DuoNeural AI Laboratory — research preview checkpoint архитектуры Resonant Metriplectic Sheaf Network (RMSN) на Port-Hamiltonian. Около 193M параметров, контекст 512 токенов, словарь 49 152 (cosmo2 tokenizer). Обучен на WikiText-103 и не предназначен как production-grade conversational LLM.

🔍 Ключевые особенности

• ⚙ Архитектура RMSN: Port-Hamiltonian neural sequence architecture, где Lyapunov-устойчивость — структурный инвариант forward-оператора, а не регуляризатор.
• 📊 Конфигурация: dim / depth / slots — 1024 / 16 / 64; параметров примерно 193M.
• 🔄 Класс shallow dissipative soliton, val_lyap=-2.1255; в карточке описан цикл углубления W1–W4.
• 🧨 Research preview: 100 000 шагов на WikiText-103, это 204.8M токенов.
• ⛔ Не для диалогового продакшена: экспериментальный прототип для проверки нейродинамики, топологической структуры и устойчивости.

💡 Пример

Сценарий из карточки — исследование динамики forward-оператора и сравнение soliton-режимов: модель относится к классу shallow dissipative soliton и показывает val_lyap=-2.1255. Для обычных чатов и генерации ответов пользователю она не заявлена.

Подробнее

Валидационная perplexity — 70.3; val Lyapunov (lambda_max) = -2.1255.
Обучение: WikiText-103, 100K шагов, 204.8M токенов; язык — английский.
Вероятность soliton подтверждена на 2 из 10 seed’ов (20%, n=10, архитектура 193M).
Ограничения: research preview, не production-grade conversational LM; контекст всего 512 токенов.