qwenagent-workers
модули памяти на базе GRU для Qwen3-0.6B
2 min readupdated
Набор компактных обучаемых модулей-«воркеров» от автора Bobliu, которые встраиваются после 12-го слоя замороженной языковой модели Qwen/Qwen3-0.6B. Каждый чекпоинт весит около 1.8 МБ и содержит только параметры самой надстройки (приватные слоты состояний GRU, обучаемый роутер и канал возврата), а базовые веса подгружаются отдельно. Проект создан как исследовательский эксперимент для проверки работы с чередующимися программами регистров и наглядно демонстрирует честный отрицательный результат: сложная система с несколькими приватными слотами и роутером в итоге не превосходит простой MLP-адаптер без памяти или одно общее состояние. Пригодится исследователям архитектур LLM и специалистам, изучающим механизмы маршрутизации и внутреннюю память трансформеров.
Ключевые особенности
- Минимальный вес: каждый файл
.ptзанимает около 1.8 МБ и содержит только словарь весов (state_dict) и аргументы обучения. - Пять архитектурных режимов: в репозитории доступны варианты
adapter(MLP без состояния),single(одно общее состояние GRU),uniform(обновление всех слотов без роутинга),multi(4 приватных слота с обучаемым роутером) иoracle(роутинг по истинным ID регистров). - Открытые логи замеров: к чекпоинтам прилагаются JSON-файлы в папке
results/с метриками точности на задачах разной длины.
Что можно сделать
- Воспроизвести эксперимент: прогнать оценку чекпоинтов на синтетических задачах с регистрами с помощью скрипта
eval_ckpt.pyиз связанного GitHub-репозитория. - Изучить поведение роутера: сравнить распределение точности между
multi,singleиadapterпри росте числа регистров (от P=2 до P=16).
Пример
git clone [https://github.com/Bobliuuu/qwenagent](https://github.com/Bobliuuu/qwenagent) && cd qwenagent
pip install torch transformers
huggingface-cli download Bobliu/qwenagent-workers --local-dir hf
python eval_ckpt.py hf/checkpoints/q7_multi_s0.pt --out /tmp/probe_q7_multi_s0.json
Подробнее
Точность на seed-0 (200 программ на размер, случайное угадывание — 10%):•
single: 61.0% (P=2), 46.0% (P=6), 25.0% (P=16)•
adapter: 60.5% (P=2), 47.5% (P=6), 27.5% (P=16)•
multi (K=4): 53.5% (P=2), 43.5% (P=6), 26.5% (P=16)Обучение велось 8000 шагов на 2–3 регистрах со случайными именами (layer 12, occupancy gating on); для тренировки требуется CUDA GPU. Модель предназначена исключительно для исследований, а не для продакшена.










Comments