Llama-3.1-8B-Instruct-noise-localization-v1

Исследовательский чекпоинт от tagadearush в рамках проекта substrate awareness: Llama-3.1-8B-Instruct (8,03 млрд параметров) дообучена через LoRA определять, в какое из двух предложений A/B был добавлен шум в активации. В репозитории лежат слитые bf16-веса (LoRA уже встроена), отдельный адаптер вынесен в другой репозиторий. Это research artifact, не для деплоя.

🐙 Ключевые особенности

• 👀 Задача: во время forward pass гауссов шум N(0, σ) добавляется к выходам attention и MLP всех слоёв на токен-спане одного предложения; модель отвечает the answer is: A|B.
• 🤫 LoRA r=16, α=32 на q/k/v/o/gate/up/down, lr 1e-4 cosine, 2000 шагов × batch 16, bf16, eager attention; затем веса слиты.
• 💪 Контроль шорткатов: баланс слота ответа, 50% одинаковых A/B, 30% одноходовых промптов, обучающие и eval-предложения не пересекаются.
• 😵‍💫 Есть перенос на HSPI random-word completions и активации int8/nf4, хотя на этих данных модель не обучали.
• 👀 Модель замечает факт возмущения, но игнорирует смысл вопроса — это важное ограничение.

😵‍💫 Пример

На входе два предложения A и B; в forward pass одного из них добавляют шум. Модель отвечает the answer is: A или the answer is: B. На отложенных WikiText-предложениях при σ=1e-3 accuracy достигает 1.00 против 0.51 у базовой модели.

Подробнее

Noise localization на held-out WikiText: при σ=1e-3 base 0.51 → модель 1.00; при σ=3e-3 base 0.46 → 1.00.
Перенос без обучения: int8 activation transplant 0.44 → 0.975; nf4 0.37 → 0.93.
Ограничения: не ловит различия kernel на той же GPU (sdpa vs eager, ~4e-3), шум масштаба GPU (σ≈1e-4) и не узнаёт генерации своей GPU; на вопрос «which is unquantized?» accuracy 0.03.
Лицензия Llama 3.1 Community; требования к VRAM в карточке не указаны.