Circuit atlas networks

Это набор артефактов из репозитория Mechanistic Interpretability Circuit Atlas: замороженный вручную собранный трансформер m2, замороженное меню кодировок и обученный MLP с одним скрытым слоем поверх (rung PART). Внутри — десятки крошечных сетей для задач вроде (x + y) mod 59, подсчёта букв, преобразования base, арифметики, DFA-автоматов и умножения матриц над GF(2). Это не готовая чат-модель, а материал для анализа схем.

📌 Ключевые особенности

• 📌 Замороженный m2: hand-built base (rung HAND), имена параметров GPT-NeoX, config.json.
• 💻 Поверх — MLP с одним скрытым слоем: W1, b1, W2, b2 в float32; forward pass: logits = W2 relu(X W1^T + b1) + b2.
• 📚 Много задач: modular addition mod 59, count mod 5, compare counts, bracket count, base conversion, decimal-hex/binary addition, subtraction, multiplication, long division/square root, DFA group automata, GF(2) matrix product.
• ✅ Для каждой записи есть seed/fraction, inputs.safetensors, config.json и manifest.json с accuracy и sha256.
• ❌ Без pickles; test_idx — отложенные ячейки, а точность на них воспроизводит acc_test из manifest.

💻 Пример

import torch
from safetensors.torch import load_file
w = load_file('modular-addition-mlp/s0_f40.safetensors')
x = load_file('modular-addition-mlp/inputs.safetensors')['X']
h = torch.relu(x @ w['W1'].T + w['b1'])
logits = h @ w['W2'].T + w['b2']
print(logits.argmax(-1))

Подробнее

📌 Требований к VRAM в карточке нет: это небольшие артефакты для анализа, а не готовая LLM.
✅ Для modular-addition-mlp указаны 10 seeds и train fraction 0.4; всего в репозитории, например, 83 сети в base-conversion и 219 в dfa-group-automata.
📚 Точность на test_idx точно воспроизводит acc_test из manifest.json; m2 и меню кодировок заморожены, у каждой папки своя карточка и раскладка.
💻 Веса — float32 W1/b1/W2/b2, test_idx int64; pickles не используются.