CRSN-T
термодинамическая эволюция рекуррентных сетей
1 мин чтенияобновлено
CRSN-T (Thermodynamic Crystal Recurrent Sheaf Network) — это третья генерация архитектуры Crystal Recurrent Sheaf Network, добавляющая в слои термодинамическое сопряжение. Модель привносит обучаемую температуру, тепловой поток и производство энтропии для каждого слоя, используя структуру GENERIC (General Equation for Non-Equilibrium Reversible-Irreversible Coupling). Она улучшает показатели перплексии по сравнению с предыдущими фазами, сохраняя стабильный кристаллический порядок. Релиз будет интересен исследователям архитектур языковых моделей и нелинейной динамики.
Ключевые особенности
- Термодинамическое состояние: каждый слой содержит параметры температуры, теплового потока и энтропии.
- Регуляризация: термодинамическое сопряжение действует как неявная регуляризация.
- Стабильность порядка: кристаллический параметр alpha сохраняет строго положительные значения во всех 8 слоях.
- Улучшение метрик: снижение валидационных потерь и перплексии относительно Phase 2.
Что можно сделать
- Провести эксперименты с обучением языковых моделей на базе архитектуры CRSN-T.
- Исследовать влияние термодинамических параметров на стабильность и сходимость весов.
- Интегрировать компоненты термодинамического сопряжения в собственные исследовательские проекты.
Пример
Пример структуры зондового состояния финального чекпоинта модели:
L00: alpha_mean=0.1324 | omega_mean=0.5432
L01: alpha_mean=0.1288 | omega_mean=0.5395
L02: alpha_mean=0.1286 | omega_mean=0.5271Подробнее
Val Loss: 2.5900PPL (перплексия): 13.33
Датасет: WikiText-103 (126.9M токенов, 25k шагов)
Оборудование: CPU training (AMD Ryzen)
Архитектура: 8 слоев, основана на CRSN Phase 2










Комментарии