shem RV32IM
точный CPU внутри весов
2 min readupdated
Это не обученная языковая модель, а RV32IM CPU, скомпилированный в веса нейросети: один forward pass выполняет одну инструкцию, и результат получается точным. Проект от jgalego — нейронный vCPU для shem, который запускает контейнеры и VM внутри весов модели; это опубликованные веса для shem 0.1.0. Компилятор превращает 48 инструкций, описанных как данные, в таблицы поиска и маршрутизации линейных слоёв. Декодирование считает несовпадающие биты, операнды читаются attention из register file, а память и регистры живут в delta-rule state, как в Gated DeltaNet. Пригодится тем, кто исследует исполнение кода внутри весов и необычные вычислительные архитектуры.
Ключевые особенности
- Ничего не обучено: веса построены компилятором из набора инструкций RV32IM.
- Точные вычисления: только линейные слои, гейтинг, clamps и one-hot attention в float64.
- Один forward pass — одна инструкция; результаты маршрутизируются по декодированной инструкции.
- Память и регистры хранятся в delta-rule state, как в Gated DeltaNet.
- 18 тензоров и 77 744 значения float64 — весь CPU умещается в компактный набор весов.
Что можно сделать
- Запустить RV32IM-программу через shem с neural vCPU: сервер сам компилирует эти веса.
- Разобрать, как инструкции CPU раскладываются по слоям сети и где хранится состояние.
- Собрать образ, который несёт свой CPU как слой модели.
- Проверять бит-в-бит совпадение вычислений на CPU и GPU в разных режимах.
Пример
uvx --from shem-neural shem-neural-server --socket /tmp/shem-neural.sock &
shem run --vcpu neural --neural-socket /tmp/shem-neural.sock program
Подробнее
Все 60 официальных riscv-tests (rv32ui, rv32um, rv32ua) заканчиваются в том же состоянии, что и у reference interpreter shem.Около 180 000 инструкций, включая no-MMU Linux kernel с shell-командой, совпали по состоянию, включая все 64 MiB RAM.
На GPU режимы eager, compiled и CUDA graphs бит-в-бит совпадают с CPU.
Веса: 18 тензоров, 77 744 значения float64. Это не обученная модель: веса построены компилятором.










Comments