kibble-pythia-1b

Это набор из 1000 фактов и загрузчик, которые добавляют в EleutherAI/pythia-1b гейтированные нейроны рядом со слоем 6. Каждый факт хранится в отдельном слоте, а веса pythia не меняются: после удаления пака модель возвращается к исходному состоянию бит в бит. Автор — skyuu72; факты вымышленные, язык — английский.

🔥 Ключевые особенности

• ✅ 1000 фактов о людях, компаниях, городах, таблетках и минералах, которых не существует.
• 🔥 Без обучения и без правки pretrained-весов: только forward passes и один linear solve.
• 🦾 Пак на 39 МБ: на факт адрес 8192-d и значение 2048-d; загрузчик и демо — в kibble.py.
• 💥 По их замеру score 0.763 против MEMIT 0.625 и AlphaEdit 0.629; KL-дрейф 0.004, реальные факты сохранены 0.983.
• 📉 Ограничения: опечатки в имени роняют exact match до 0.51; чужое совпадение по фамилии открывает слот в 71% случаев.

😎 Пример

import kibble
model, tok = kibble.load()            # plain EleutherAI/pythia-1b
handle, meta = kibble.attach(model)   # 1000 facts in
print(kibble.say(model, tok, "Kryskorn Skeithhaes was born in the city of"))
handle.remove()                       # and out again

Подробнее

Пак: 1000 слотов, 39 МБ; всё гонялось на RTX 4060 Laptop с лимитом 7 ГБ.
Методика: forward-only поиск значений, joint address solve, гейт out += clamp((W k - 0.35) / 0.2, 0, 1) @ V.
Потолок: факт в контексте с идеальным retriever даёт 0.871 — выше, чем запись в веса.
Адресный solve упирался в VRAM между 3800 и 4800 слотами; качество до этого не падало.