K2-L8-R6-VS-CODE

Исследовательская языковая модель от dimitarpg13 для Python-кода. Восемь слоёв, две wells ранга 6, 53,1 млн параметров; attention, register path и exchange field отсутствуют, а силы на токен задаются градиентом выученного потенциала при фиксированном контексте. Обучение — на 315,392 млн токенов.

🧭 Ключевые особенности

• 🧭 Консервативная архитектура: без attention, register path и exchange field; сила — градиент выученного потенциала.
• 🎲 Число шагов N на обучении выбирается заново на каждом шаге оптимизатора из {8, 12, 16}; оценка — при N=8.
• 📉 На Python-коде settled perplexity 5,65 — на 13,9% хуже matched GPT-2 (4,96); у родителя с фиксированным N — 11,8%.
• 🔄 При N от 8 до 16 штраф к perplexity остаётся в пределах 0,01 nats, включая невиданные N=9–11 и 13–15.
• ♾ На N=24 и 32 штраф всего 0,038 и 0,081 nats; но при N=6 уже +0,175 nats, при N=4 — +2,568.
• 🧮 Per-layer flow при k=2–8 сходится к 0,034 nats; whole stack при k=4 стоит 0,085 nats против 1,77 у родителя.

⌨ Пример

Фрагмент конфигурации из карточки для воспроизведения:

CORPUS='code', LADDER_STEPS=16_250, EXTRA_FLOOR_STEPS=3_000
LADDER_L=8
V_THETA_WELLS_PER_HEAD=2
ANISO_RANK=6
VARIABLE_STEP_COUNTS=(8, 12, 16)

Подробнее

Цена обучения на трёх числах шагов — +0,020 nats при N=8 против родителя с фиксированным N; разрыв сокращался до конца обучения.
53 115 092 параметра; 315 392 000 токенов; пик памяти 63,6 ГБ в обучении и 55,4 ГБ в оценке.
Ограничения: это не сошедшийся flow; меньше восьми шагов заметно хуже, а per-step операции (LayerNorm и top-k выбор источников) остаются.
Один seed; первая попытка обучения столкнулась с NaN-градиентами из-за sqrt(w) при w=0.