SecurMoE-Latent-8B

Исследовательский прототип от Vaib202 на базе Qwen/Qwen3-8B (8B, causal LM). Вместо текстовой инструкции модель получает непрерывный вектор в residual stream на Layer 18 и должна выбрать одну из четырёх арифметических операций по «слепому» промпту. Это не production-решение, а эксперимент по mechanistic interpretability.

🧐 Ключевые особенности

• 🧐 Проверяет action-conditioned steering: одинаковый промпт без названия действия, разное поведение только за счёт Δh_a.
• 🤖 База Qwen/Qwen3-8B заморожена и загружается в 4-bit NF4; LoRA r=16, α=32, dropout 0.05 по 7 линейным слоям всех 36 блоков.
• 🫠 LatentTransitionModule на 4 265 217 параметров (~0,05% базы) проецирует action embedding 64-d в 4096-d и добавляет к Layer 18.
• 🚫 Не sparse MoE, несмотря на имя SecurMoE: нет роутинга или гейтинга экспертов, только continuous activation steering.
• 🔥 Действия: ADD 5, SUBTRACT 5, MULTIPLY BY 2, ADD 20; выбор задаётся action_id, а не токенами промпта.
• ⛔ Статус research preview: только для peer review и экспериментов, не для продакшена и safety-critical сценариев.

🚀 Пример

from securmoe import SecurMoELatent
model = SecurMoELatent.from_pretrained('YOUR_HF_NAMESPACE/SecurMoE-Latent-8B', load_in_4bit=True, device_map='auto')
result = model.generate(prompt='Current state value: 64. Calculate resulting state.', action_id=0, max_new_tokens=64, do_sample=False)
print(result)

Подробнее

Замеры на Tesla T4: база + LoRA в 4-bit — 5,83 ГБ, модуль — +17,06 МБ, пик инференса — 6 139,5–7 470 МБ.
Нужна NVIDIA GPU ≥8 ГБ VRAM; на consumer-системах с композитором свободной памяти может быть меньше.
Оценка ограничена синтетическим доменом четырёх арифметических действий; авторы не заявляют превосходство над Qwen3-8B.
Код и чекпоинты доступны в репозитории; SHA-256 для файлов приведены в карточке.