scRM S-96

scRM — single-cell foundation model, обученная напрямую на sequencing reads. На вход идут сырые последовательности по парам (cell barcode, UMI): без aligner, reference genome, аннотации генов и count matrix. Эмбеддинг клетки собирается иерархией attention-пулов, а вся модель содержит 1 182 720 параметров.

⚙ Ключевые особенности

• 🧬 Вход — сырые чтения, а не матрица экспрессии: выравнивание и аннотация не нужны.
• 🔬 Компактный размер: 1 182 720 параметров.
• 🧩 Иерархия пулов: bytes → contigs → UMIs → windows, затем две проекции → эмбеддинг клетки.
• 🗜 Два чекпоинта: scRM-S96 обучен на 3 000 клетках из четырёх публичных mouse 10x 3′ датасетов; scRM-S96-sc_mixology — та же архитектура, но на клетках sc_mixology при том же лимите 3 000.
• ⚡ Обучение как JEPA; заявлена zero-shot оценка на held-out human и fly данных.

💡 Пример

from scrm_eval.embed import Checkpoint
from scrm_model.evalio import model_factory

ckpt = Checkpoint.load("scRM-S96.eval.pt", model_factory=model_factory)

Подробнее

Архитектура: локальный trunk на 4 слоя и глобальный на 6, ширина 96, 4 головы, rotary position embeddings с theta=10000 до 1600 позиций, проектор 256→96.
Обучение: 8 947 шагов, seed 20260903, torch 2.11.0+cu128; 3 000 клеток из mouse_brain_5k, neuron_1k_v3, neurons_5k и sod1_spinal_cord.
Ограничение: представление на уровне чтений сохраняет нуклеотидный состав и может нести germline-вариацию — такие эмбеддинги лучше вести как genotype-данные, а не как матрицу экспрессии.
Метрик в карточке нет; требования к VRAM не указаны.