DuoNeural/RMSN-229M-ArnoldTongue-Omega45-Base
резонансная языковая модель
2 мин чтенияобновлено
Это экспериментальная 229M-параметровая нейродинамическая языковая модель от команды DuoNeural, в которой впервые на практике исследуется феномен резонанса языков Арнольда (Arnold Tongue Resonance) в обучении нейроархитектур. Модель построена на базе Resonant Metriplectic Sheaf Network (RMSN) и достигла рекордной для автора валидационной перплексии (ppl) 49.8 на датасете WikiText-103. Архитектура использует скрытую размерность 1024, 20 слоев и 64 рабочих слота Пуанкаре. Модель ориентирована на исследователей нейросетевых архитектур и любителей необычных топологических подходов к обучению LLM.
Ключевые особенности
- Резонансная геометрия: отношение резонанса Ω = 4/5 (язык Арнольда q=5), что обеспечивает топологическую фиксацию при обучении.
- Рекордная перплексия: лучший чекпойнт (на 80-й тысяче шагов) показал значение ppl 49.8 (первый результат ниже 50 для DuoNeural).
- Топологические фазы: в процессе обучения зафиксированы две каскадные фазы переорганизации солитонной решетки.
- Обучение на доступном железе: модель тренировалась на одной видеокарте NVIDIA RTX 5070 Ti (15.5 GB VRAM).
Что можно сделать
- Запустить инференс локально с помощью кастомного кода конфигурации на PyTorch.
- Воспроизвести эксперимент с резонансом Арнольда, используя скрипты обучения из репозитория.
- Провести зондирование перколяционной пучковой топологии обученной модели (probe_percolation_sheaf.py).
Пример
Загрузка весов модели и конфигурации RMSN в PyTorch:
import torch
from rmsn_core import RMSNConfig, RMSNForCausalLM
ckpt_path = "rmsn_best.pt"
checkpoint = torch.load(ckpt_path, map_location="cuda:0")
config = RMSNConfig(
vocab_size=49152,
hidden_dim=1024,
num_layers=20,
num_workspace_slots=64,
max_seq_len=512
)
model = RMSNForCausalLM(config)
model.load_state_dict(checkpoint["model_state"])
model.eval().cuda()Подробнее
Параметры: 229.17M | Скрытая размерность (D): 1024Глубина (L): 20 слоев | Слоты (M_w): 64 слота Пуанкаре
Отношение резонанса: 4/5 (q=5) | Токенов обучения: 126.9M (WikiText-103)
Лучшая Val PPL: 49.8 (шаг 80k) | Финальная Val PPL: 51.5 (шаг 100k)
Железо: NVIDIA RTX 5070 Ti (15.5 GB VRAM)










Комментарии