cold-attention-organ
микро-модуль логики для замороженной Qwen2.5
3 min readupdated
Исследовательский проект от mohsenvand: крошечный внешний блок cold attention («холодного внимания») всего на 529–949 параметров, который подключается рядом с полностью замороженной LLM (большой языковой моделью) семейства Qwen2.5 (0.5B, 1.5B и 7B). Сама языковая модель не дообучается — она лишь считывает входные утверждения, а новый модуль связывает упоминания сущностей в граф и отвечает «да» или «нет» на вопросы по длинным логическим цепочкам. Главная особенность в экстраполяции: блок обучался только на контекстах до 16 фактов, но выдаёт 100% точных ответов даже при 1 000 утверждений, где обычная Qwen2.5-7B справляется лишь в 43,8% случаев. Пригодится исследователям нейросимвольных подходов и инженерам, изучающим гибридные архитектуры для точного многошагового вывода (multi-hop reasoning).
Ключевые особенности
- Экстремальная компактность: сам обучаемый блок содержит от 529 до 949 параметров, работает на JAX и при 1 000 утверждений оперирует тремя битовыми матрицами.
- Безошибочная экстраполяция по длине: обучившись на 1–16 фактах, выпущенные модули для Qwen2.5-7B и 1.5B дают 100% правильных ответов на всех тестах вплоть до 1 000 фактов (включая 2 из 8 формулировок, которых не было в обучении).
- Замороженная база: веса Qwen2.5 остаются нетронутыми — из модели без обучения извлекаются эмбеддинги имён и логиты для определения связей между людьми.
- Две задачи в релизе: определение родства по цепочкам предков («Является ли X предком Y?») и сравнение возраста («Старше ли X, чем Y?» для Qwen2.5-0.5B).
Что можно сделать
- Проверить длинные цепочки родства: подать до 1 000 перемешанных фактов о семье в разных формулировках и получить безошибочный ответ о связи между двумя людьми.
- Решать задачи транзитивного сравнения: использовать вариант для Qwen2.5-0.5B, чтобы выстраивать цепочки старшинства из набора разрозненных фактов вида «A старше B».
- Изучить гибридный вывод на локальном GPU: запустить связку PyTorch/Transformers (для замороженной LLM) и JAX (для самого блока) через готовый скрипт
organ.pyи сравнить качество с чистым промптингом.
Пример
from huggingface_hub import snapshot_download
import sys, organ
root = snapshot_download("mohsenvand/cold-attention-organ", allow_patterns=["organ.py", "kinship/qwen2.5-7b/*"])
sys.path.insert(0, root)
o = organ.Organ(f"{root}/kinship/qwen2.5-7b/within/seed0")
statements = ["Maria Lopez is the mother of Tom Baker.", "Ivan Chen is the son of Tom Baker."]
print(o.ask([(statements, ["Is Maria Lopez an ancestor of Ivan Chen?"])])) # [[True]]
Подробнее
Бенчмарк родства (1 000 фактов): 96/96 (100%) у всех релизных модулей для Qwen2.5-7B против 43,8% у самой Qwen2.5-7B без модуля.Бенчмарк сравнения возраста (1 000 фактов): 96/96 (100%) на базе Qwen2.5-0.5B против 49,0% у голой модели.
Требования: для Qwen2.5-7B в float16 требуется около 16 ГБ VRAM; сам блок cold attention работает на CPU/GPU.
Обучение и стек: ~2 минуты на 1× H100 (AdamW, 4 000 шагов); для запуска нужны PyTorch 2.5.1, Transformers 4.46.3 и JAX.










Comments