DPM-15L

DPM-15L — причинная языковая модель на 25M параметров от TheToyChest. В ней 15 слоёв и механизм Dual-Polynomial Attention (DPA), который заменяет стандартное Softmax-внимание и определение loss на жёсткую ReLU-активацию с нулевым порогом и обучаемые полиномиальные параметры. Обучение — 1 эпоха на OpenWebText.

💻 Ключевые особенности

• 🔥 Dual-Polynomial Attention вместо Softmax-внимания.
• 📌 No-Softmax (NSM) loss: разреженность за счёт zero-floored ReLU и стабильный градиент через полиномиальные параметры.
• 📚 15 слоёв, 4 головы, 256 Embed Dim, 1024 FFN, RoPE.
• ✅ 25M параметров — компактная модель для экспериментов с архитектурой.
• 💻 Оценка zero-shot через автоматический Google Colab-скрипт.

📌 Пример

Сценарий из карточки: запустить zero-shot оценку весов через автоматический Google Colab-скрипт из GitHub-репозитория TheToyChest. Для этого чекпоинта параметр continuous_abla должен быть False.

Подробнее

На OpenWebText у загруженного чекпоинта (Seed 999): next-token accuracy 44.26%, Wiki-103 perplexity 44.05, zero-shot accuracy 33.15%, HellaSwag 25.85%.
Снижение batch size с 32 до 16 для Seed 42 дало +4.8% к next-token accuracy и почти вдвое снизило zero-shot perplexity.
Сырые NLL validation loss у DPM и Softmax нельзя сравнивать 1:1: у них разные математические основы функции потерь.
Ограничение: сравнение с Softmax ведётся по framework-agnostic метрикам, а не по raw NLL.