Модель генерирует текст и рассчитана на математические и символьные рассуждения. Это 350M-параметровая языковая модель собственной архитектуры Resonant Metriplectic Sheaf Model: 20 слоёв, размерность 1280 и 64 слота; автор — DuoNeural AI Laboratory. База — предобучение на FineWeb-Edu, затем 5 тыс. шагов SFT на трассах рассуждений cdm_reasoning_traces_v4.jsonl. В карточке её сравнивают с 16-слойными вариантами на 310M и 425M параметров: заявлены лучший SFT loss и более низкий CoT PPL при сохранении качества на WikiText-103. Пригодится для экспериментов с нестандартными архитектурами и изучения depth-scaling, но запуск требует собственного кода rmsn_core.
Ключевые особенности
20 слоёв при 350M параметров; в карточке это подаётся как исследование depth-scaling.
SFT на 5 000 шагов по математическим и символьным трассам рассуждений.
Заявленный CoT Hard Reasoning PPL — 14.21 против 17.48 и 20.75 у 16-слойных вариантов.
WikiText-103 Retention PPL — 145.68; SFT Best Loss — 2.2726.
Нестандартная Port-Hamiltonian/sheaf-архитектура: нужен пакет rmsn_core и .pt-чекпоинт.
Что можно сделать
Проверить заявленные рассуждения на задачах вроде доказательства иррациональности √2 из примера карточки.
Сравнить depth=20 с 16-слойными конфигурациями на своих промптах и метриках.
Использовать как исследовательский полигон для нестандартных LLM-архитектур и SFT-пайплайнов.
Пример
import torch
from rmsn_core import ResonantMetriplecticSheafLM
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('HuggingFaceTB/cosmo2-tokenizer')
model = ResonantMetriplecticSheafLM(vocab_size=49152, dim=1280, depth=20, num_slots=64)
ckpt = torch.load('rmsn_sft_depth20_best.pt', map_location='cpu', weights_only=False)
model.load_state_dict(ckpt.get('model_state', ckpt), strict=False)
model.eval()
ПодробнееЗаявленные метрики: CoT Hard Reasoning PPL 14.21, WikiText-103 Retention PPL 145.68, SFT Best Loss 2.2726. Сравнение в карточке — с 16-слойными моделями на 310M и 425M параметров. Для запуска нужен собственный код rmsn_core и чекпоинт rmsn_sft_depth20_best.pt; это не стандартная transformers-модель. Лицензия MIT. Требования к VRAM в карточке не указаны.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# DuoNeural/RMSN-350M-Depth20-SFT5k — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve DuoNeural/RMSN-350M-Depth20-SFT5k --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии