SO-CODE L8-CODE

Исследовательская модель от dimitarpg13 для генерации кода на Python. Это SO-CODE с восемью слоями и шагом Δt = 1: каждый слой сдвигает состояния токенов на один шаг затухающего потока второго порядка в обучаемом потенциале, а общее время интегрирования T = L · Δt = 8 остаётся фиксированным. Параметров — 76,7 млн.

⚙ Ключевые особенности

• 🧩 Восемь слоёв при T = 8: глубина добавляет шаги, а не ёмкость; лишние параметры — depth code, V_φ scales и register destruction gates.
• 📀 Всего на 159 756 параметров больше SO-CODE; слои делят bank of wells, V_φ и context channels.
• 🐍 Обучение на 315 392 000 токенах; settled perplexity 5,35, лучшая — 5,26 на шаге 18 000.
• ⚡ Ниже L4-CODE (5,48) и SO-CODE (6,00), но выше matched GPT-2 (4,96); закрывает 60% разрыва с GPT-2.
• 🔬 Вторая двойка слоёв даёт около четверти эффекта первой: отдача от глубины падает.

🔬 Пример

Готового сниппета запуска в карточке нет. Основной сценарий — оценка на Python-коде: perplexity на блоке 512 по первым 2 млн токенов валидации CodeParrot. У L8-CODE settled perplexity 5,35, у L4-CODE — 5,48, у SO-CODE — 6,00.

Подробнее

Бенчмарк: settled perplexity 5,35 (среднее по шагам 18 000, 18 500 и 19 000), лучшая 5,26; 76 731 865 параметров.
Обучение: 19 250 шагов за 29,5 ч в двух сессиях Colab, около 5,5 с на шаг с layer checkpointing; 315,4 млн токенов.
Ограничения: это карта, а не поток — loss минимален на обученном шаге; whole stack не проходит refinement (2,70 nats при k = 4).
С 1 400 по 3 600 шаг 34 из 45 логированных шагов имели non-finite gradient norm, обновления пропускались; причина не диагностирована. VRAM не указан.