PM2-CODE

Экспериментальная модель от dimitarpg13 для генерации Python-кода. Это вариант PM2-CODE, обученный как истинный first-order gradient flow: без velocity, с двумя Poisson-mode wells. В карточке — сравнение с second-order twin и другими корпусами.

✨ Ключевые особенности

• 💻 Обучена на Python-коде: 315 392 000 токенов, 19 250 шагов.
• 🔥 Settled PPL 5.62 против 5.71 у second-order twin — на 1.6% лучше.
• ✅ Без wells first order отставал на 9.2%; две Poisson-mode wells меняют картину.
• 📌 Wells учатся одинаково на трёх корпусах: отталкивание в layer 0, притяжение в layer 1.
• ❌ Против matched GPT-2 (d=384, L=8) модель отстаёт: 5.62 против 4.96 (+13.3%).

💻 Пример

Фрагмент конфигурации запуска из карточки:

POISSON_MODES=2
POISSON_WELLS_EXACT=True
FIRST_ORDER_OVERDAMPED=True
VPHI_ANALYTIC_FORCE=True
LAYER_CHECKPOINT=False
CORPUS='code'
LADDER_STEPS=16_250
EXTRA_FLOOR_STEPS=3_000

Подробнее

📌 Подробнее
PPL на Python-коде: 5.62 против 5.71 у второго порядка (−1.6%).
Обучение: 315 392 000 токенов, 19 250 шагов.
Для сравнения: matched GPT-2 (d=384, L=8) — 4.96, модель отстаёт на 13.3%.
Ограничение: first-order не сходится при refinement внутри слоя, хотя штраф вне trained step count меньше.