Qwen3.5-0.8B-Math-GraphCalc
калькулятор внутри весов
1 min read
Экспериментальная 35-слойная модель Qwen3_5ForCausalLM на базе Qwen3.5-0.8B-Base. Построена строго в пространстве весов: без градиентов и оптимизатора, с 11 скомпилированными слоями Gated-DeltaNet перед 24 языковыми слоями Qwen. Нужна для точных вычислений, алгебраических уравнений, определённых интегралов и построения графиков функций с пошаговым объяснением.
Ключевые особенности
- При сложном запросе выдаёт
<tool_call>с первого токена и считает внутри forward pass. - Точные 256-битные bignum, сокращённые дроби, CORDIC-тригонометрия/логарифмы, корни и точки экстремума.
- Слои layers[0..10] исполняют RISC-V инструкции graphcalc.elf, используя рекуррентное состояние Gated-DeltaNet как RAM.
- Затем layers[11..34] объясняют решение по шагам.
- Без внешнего Python eval(), SymPy или серверов-калькуляторов.
Пример
from runner import CarbonGraphCalcRunner
runner = CarbonGraphCalcRunner('Qwen3.5-0.8B-Math-GraphCalc', fast=True, executor=True)
res = runner.generate(runner.prompt_ids('Calculate 37429 * 8613 + 194820 and explain your steps.'), max_new_text=384, check_lock=True)
print(res['final_explanation'])
Подробнее
На 60 отложенных задачах: Math Acc 71.67%, Graph Feature Acc 86.27%, Plot Rate 100%, 0 расхождений lockstep на 3 402 460 шагов RV32.Без
<tools>: Overall Math Acc 82.78%, Plain Q&A 80.00% (6.0× к базе).Нужен runner.py с загрузкой graphcalc.elf; 1 инструкция = 1 токен, поэтому bignum-арифметика занимает ~20–35 с, анализ функций ~60–195 с на RTX 5070.
Ограничение: 0.8B иногда переносит в
<tool_call> только первый шаг многошаговой текстовой задачи.









Comments