RMSN-193M-Base-v2

DuoNeural выпустила исследовательский чекпоинт RMSN (Resonant Metriplectic Sheaf Network) на ~193M параметров. Это base-LLM с контекстом 512 и словарём 49 152 (токенизатор cosmo2), обученная на WikiText-103 за 100K шагов (204,8M токенов). Карточка прямо предупреждает: это research preview, а не production-модель для диалогов.

⚙ Ключевые особенности

• ⚙ Port-Hamiltonian архитектура: Lyapunov-устойчивость заложена как структурный инвариант прямого оператора, а не как регуляризатор.
• 🔬 Цель — проверить non-Euclidean Port-Hamiltonian attractor dynamics, topological Casimir foliation и Lyapunov stability.
• 📀 val_ppl = 69.9, val_lyap = -0.0134; заявлен воспроизводимый класс near-zero attractor.
• 🧬 Конфигурация: dim / depth / slots = 1024 / 16 / 64; словарь 49 152, контекст 512.
• 🛑 Ограничение из карточки: не предназначена для production-диалогов; обучение только на английском WikiText-103.

💡 Пример

Сценарий из карточки — воспроизведение эксперимента: сравнить val_ppl и val_lyap этого чекпоинта с RMSN-193M-Base (seed7), чтобы проверить повторяемость near-zero attractor и влияние soliton geometry на SFT.

Подробнее

Бенчмарки: val_ppl 69.9 — второй результат среди 193M-моделей лаборатории; val_lyap -0.0134.
SFT loss: 1.74 для deep soliton против 1.94 для shallow soliton; геометрия солитона помогает reasoning-файнтюну, но не raw language modeling.
Данные: WikiText-103, 100K шагов, 204,8M токенов; контекст 512; язык — английский.
Это research preview для проверки нейродинамики, не production-чат-модель.