Qwen3.5-4B-Qwenputer
RISC-V CPU прямо в весах LLM
1 мин чтенияобновлено
Экспериментальная модель от Divyansh Agrawal на базе Qwen3.5-4B: в веса добавлен 32-битный RISC-V CPU, скомпилированный и вставленный прямо в модель. Это не плагин, не tool и не sandbox — 11 скомпилированных слоёв стоят перед 32 слоями Qwen, и их веса не обучались, а вычислены компилятором.
Ключевые особенности
- CPU выполняет C и MicroPython прямо в forward pass модели и проходит официальные riscv-tests.
- В качестве RAM используется состояние Gated DeltaNet: код, данные, регистры и program counter хранятся в state модели.
- Qwen грузится как обычный
Qwen3_5ForCausalLM; веса Qwen не менялись, изменения только в config и добавленных слоях. - Вызов
calcоформляется как tool-call, но исполняется внутри модели, без внешнего runtime, sandbox или executor. - Размер — 18.8 GB в bf16, в основном zero padding; у компьютера около 1M ненулевых весов.
Пример
git clone https://github.com/divagr18/qwenputer && cd qwenputer/experimental/riscv
uv sync --extra hf
uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf --ask "Use calc: what is 123456789 * 987654321?"
Подробнее
ПодробнееБенчмарки: synthetic integer arithmetic 75.0 → 97.5; DeepMind mul_big 55.0 → 97.5; div_big 72.5 → 97.5.
На L4 CPU работает на Triton-исполнителе примерно 3200 trace tokens/s.
KL к текстовому поведению базы — 6e-4 при шуме 5e-4.
Модель распространяется по Apache-2.0.










Комментарии