RMSN-350M-Depth20-SFT5k
экспериментальная LLM с 20 слоями
2 min readupdated
Модель генерирует текст и рассчитана на математические и символьные рассуждения. Это 350M-параметровая языковая модель собственной архитектуры Resonant Metriplectic Sheaf Model: 20 слоёв, размерность 1280 и 64 слота; автор — DuoNeural AI Laboratory. База — предобучение на FineWeb-Edu, затем 5 тыс. шагов SFT на трассах рассуждений cdm_reasoning_traces_v4.jsonl. В карточке её сравнивают с 16-слойными вариантами на 310M и 425M параметров: заявлены лучший SFT loss и более низкий CoT PPL при сохранении качества на WikiText-103. Пригодится для экспериментов с нестандартными архитектурами и изучения depth-scaling, но запуск требует собственного кода rmsn_core.
Ключевые особенности
- 20 слоёв при 350M параметров; в карточке это подаётся как исследование depth-scaling.
- SFT на 5 000 шагов по математическим и символьным трассам рассуждений.
- Заявленный CoT Hard Reasoning PPL — 14.21 против 17.48 и 20.75 у 16-слойных вариантов.
- WikiText-103 Retention PPL — 145.68; SFT Best Loss — 2.2726.
- Нестандартная Port-Hamiltonian/sheaf-архитектура: нужен пакет rmsn_core и .pt-чекпоинт.
Что можно сделать
- Проверить заявленные рассуждения на задачах вроде доказательства иррациональности √2 из примера карточки.
- Сравнить depth=20 с 16-слойными конфигурациями на своих промптах и метриках.
- Использовать как исследовательский полигон для нестандартных LLM-архитектур и SFT-пайплайнов.
Пример
import torch
from rmsn_core import ResonantMetriplecticSheafLM
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('HuggingFaceTB/cosmo2-tokenizer')
model = ResonantMetriplecticSheafLM(vocab_size=49152, dim=1280, depth=20, num_slots=64)
ckpt = torch.load('rmsn_sft_depth20_best.pt', map_location='cpu', weights_only=False)
model.load_state_dict(ckpt.get('model_state', ckpt), strict=False)
model.eval()
Подробнее
Заявленные метрики: CoT Hard Reasoning PPL 14.21, WikiText-103 Retention PPL 145.68, SFT Best Loss 2.2726.Сравнение в карточке — с 16-слойными моделями на 310M и 425M параметров.
Для запуска нужен собственный код rmsn_core и чекпоинт rmsn_sft_depth20_best.pt; это не стандартная transformers-модель.
Лицензия MIT. Требования к VRAM в карточке не указаны.










Comments