RMSN-199M-DeepTail-Casimir-r16-Base
экспериментальная языковая модель на базе физической динамики
2 мин чтенияобновлено
Базовая языковая модель на 199 миллионов параметров от лаборатории DuoNeural, построенная не на классическом трансформере, а на экспериментальной архитектуре RMSN (Resonant Metriplectic Sheaf Network — резонансная метриплектическая пучковая сеть). Она решает задачу языкового моделирования, используя математический аппарат гамильтоновых систем, геометрическую алгебру Клиффорда и теорию пучков. Модель выступает второй частью парного эксперимента по проверке закона граничной сходимости Казимира и отличается лучшими показателями пошагового рассуждения (Chain-of-Thought) среди всех базовых моделей семейства RMSN. Подойдёт исследователям нестандартных архитектур нейросетей и тем, кто изучает альтернативы стандартным трансформерам.
Ключевые особенности
- Нестандартная архитектура: объединяет порт-гамильтонову динамику, смешивание слоёв через геометрическую алгебру Клиффорда, дробную память Капуто и считывание на основе тензора энергии-импульса Нётер.
- Топология Deep Tail: отталкивающее граничное условие Казимира (r=16) работает как топологическое сито, направляя энергию конденсации в глубокие слои (7 солитонов в слоях L9–L15 с фиксацией терминального горизонта на последнем слое).
- Двойной колебательный каскад: в отличие от модели с параметром r=0, здесь наблюдаются две волны конденсации (на шагах 97 700 и 99 100), причём вторая волна оказывается сильнее первой.
- Фокус на рассуждениях: показывает лучший результат перплексии на задачах Chain-of-Thought среди всех базовых моделей линейки RMSN (CoT ppl = 3321 против 3761 у парной версии r=0).
Что можно сделать
- Сравнить поведение и внутреннюю динамику слоёв с парным чекпоинтом
RMSN-199M-DeepSpine-Casimir-r0-Base, чтобы изучить влияние граничных условий на способность к рассуждениям и удержанию знаний. - Использовать чекпоинт как исследовательскую базу для экспериментов с альтернативными архитектурами языкового моделирования (для запуска потребуется код класса модели из репозитория DuoNeural/RMSN на GitHub).
- Протестировать генерацию текста на английском языке и оценку перплексии с использованием стандартного токенизатора
HuggingFaceTB/cosmo2-tokenizer.
Пример
import torch
from transformers import AutoTokenizer
ckpt = torch.load("rmsn_best.pt", map_location="cpu")
# See DuoNeural/RMSN GitHub for model class + inference code
Подробнее
Параметры и структура: ~199M параметров, размерность 1040, глубина 16 слоёв, 64 слота.Обучение: 100 000 шагов на датасете wikitext-103, токенизатор HuggingFaceTB/cosmo2-tokenizer (словарь 49 152 токена).
Метрики: val_ppl = 69.69, wiki_ppl = 75.66, CoT ppl = 3321.
Ограничения: в репозитории лежат веса PyTorch (rmsn_best.pt), для инференса нужно отдельно взять код архитектуры из GitHub DuoNeural/RMSN; поддерживается только английский язык.










Комментарии