Qwen3.5-0.8B-abliterated-Qwenti

Это Qwen3.5-0.8B-abliterated с рабочим компьютером внутри стека трансформера: 13 новых слоёв стоят перед 24 слоями Qwen. Веса новых слоёв не обучались — их вычисляет компилятор, результат точен в bf16. Размер — 1,79 млрд параметров, 37 слоёв, hidden size 1664, 3,61 ГБ в bf16.

➕ Ключевые особенности

• 🟰 Точная арифметика: 11 из 11 задач совпали с ожидаемым ответом, включая 17-значное произведение; считает схема в весах, а не внешний исполнитель.
• ➕ CHIP-8 и bignum BIOS: сложение, вычитание, умножение, деление, modulo, gcd и вычисление выражений со скобками, десятичными и степенями; операнды до 24 цифр, результат до 58.
• 0⃣ Отказы: 0% на 30 промптах, как у abliterated-базы; 13 скомпилированных слоёв не вернули ни одного отказа.
• ▶ Один generate(): Qwen пишет tool call, схема выполняет routine на CHIP-8 и печатает ответ в <tool_response>; ничего вне модели не запускается.
• ➖ Цена: decode 0,94 tok/s на L4 против 5,21 у базы, пик VRAM 4,72 ГБ против 1,80 ГБ — в 5,5 раза медленнее и в 2,6 раза больше памяти.
• 🔜 Ограничения: подключены только tool-call и inline A op B =; это не общий чат, а арифметика, игры и программы; trace тратит от сотен до тысяч chip-токенов, так что бюджет — контекст.

▶ Пример

git clone https://github.com/divagr18/qwenputer && cd qwenputer
pip install -e ".[hf]"
hf download OpceanAI/Qwen3.5-0.8B-abliterated-Qwenti --local-dir qwenti
python -m chipformer.q35.demo qwenti --n 5

Подробнее

Точная арифметика: 11/11; отказы: 0% на 30 промптах; средний KL к abliterated-базе — 7,50e-4 при шуме 5,4e-4.
На L4: пик VRAM 4,72 ГБ, decode 0,94 tok/s; на T4 decode 8,51 tok/s — автор называет это аномалией и гипотезой.
Схема точна в bf16; fp32/fp16 не проверялись. Токенизатор должен кодировать </tool_call> одним токеном 248059, иначе схема не сработает.
Abliteration унаследована от базы, в этом релизе её не дообучали.