DuoNeural/RMSN-SFT-PCC-d1024-L24
языковая модель на нестандартной архитектуре RMSN
2 min readupdated
Экспериментальная языковая модель объёмом ~261.9M параметров от DuoNeural Lab, дообученная методом SFT (Supervised Fine-Tuning — обучение с учителем на примерах) на сложных цепочках рассуждений CDM. В основе лежит архитектура RMSN (Resonant Metriplectic Sheaf Network), использующая представления на базе теории пучков и алгебры Клиффорда вместо классического внимания. После дообучения модель заметно снизила перплексию на сложных задачах с пошаговыми рассуждениями (CoT) по сравнению с базовым претрейном. Чекпоинт ориентирован на исследователей нестандартных нейросетевых архитектур и механизмов рассуждения в компактных моделях.
Ключевые особенности
- Нестандартная архитектура RMSN на 24 слоя с размерностью скрытого состояния 1024 и 64 рабочими слотами (Aubry-André workspace).
- Использование геометрии Клиффорда (Cl_{3,0}) и optimzer Muon для 211.5M параметров в связке с AdamW для оставшихся 50.4M.
- Топологическая перестройка в ходе SFT: исходная конфигурация Partial-Chain-Cement-PCC трансформировалась в Distributed Anchor.
- Токенизатор
HuggingFaceTB/cosmo2-tokenizerсо словарём на 49 152 токена.
Что можно сделать
- Изучить поведение и внутренние представления нестандартных моделей на базе алгебры Клиффорда при решении задач с рассуждениями.
- Сравнить качество генерации цепочек рассуждений (CoT) с классическими трансформерами сопоставимого размера (~260M параметров).
- Использовать чекпоинт
rmsn_sft_best.ptкак базу для дальнейших экспериментов с дообучением в рамках серии RMSN.
Пример
import torch, sys
sys.path.insert(0, '/workspace')
from rmsn_core import RMSNConfig, ResonantMetriplecticSheafLM
config = RMSNConfig(vocab_size=49152, hidden_dim=1024, num_layers=24, num_workspace_slots=64)
model = ResonantMetriplecticSheafLM(config)
raw = torch.load('rmsn_sft_best.pt', map_location='cpu')
model.load_state_dict(raw['model_state'])Подробнее
CDM CoT Hard PPL: 18.47 (после SFT) против 3966 (у базового претрейна).WikiText-103 PPL: 169.01 (после SFT) против 96.30 (у базового претрейна).
Занимает 6-е место среди всех SFT-вариантов RMSN размерности D=1024 по CoT.
Для запуска требуется кастомный модуль
rmsn_core.py и загрузка весов через PyTorch.









Comments