SR2-2B
языковая модель без attention на демпфированных осцилляторах
2 min readupdated
Экспериментальная компактная модель генерации английского текста от исследователя dimitarpg13, построенная в рамках проекта Semantic Simulation (Gen 3) без стандартного механизма внимания (noattn). В основе лежит двухслойная консервативная архитектура на базе точного интегрирования жёстких мод как демпфированных осцилляторов и потенциального банка Vθ из восьми анизотропных гауссовых ям. В отличие от базовой версии SR2 на 0.53B токенов, эта модель обучена на вчетверо большем объёме данных — 2.13B токенов из OpenWebText — при сохранении всех 76.6 млн параметров. Работа пригодится исследователям альтернативных архитектур LLM, изучающим законы масштабирования и физические аналогии в глубоком обучении.
Ключевые особенности
- Нестандартная архитектура: вместо классических трансформерных блоков используются 2 слоя с потенциальными ямами (Vθ) и точным интегрированием затухающих осцилляторов (BAOAB/CfC) с «живыми» градиентами.
- Масштабирование лучше GPT-2: при увеличении датасета в 4 раза перплексия (PPL — мера неуверенности модели при предсказании текста) упала на 16.7% (с 58.32 до 48.58), тогда как сопоставимый GPT-2 улучшился на 11.7%.
- Лидерство до фазы затухания: на протяжении фазы постоянного learning rate модель опережала GPT-2 по перплексии (на 5.2% к шагу 48 500), но уступила на финальном этапе cosine decay.
- Дискретизация шага: при обучении на 2.13B токенов послойное преобразование перестало быть близкой аппроксимацией непрерывного потока (отклонение выросло с 0.10 до 0.92 нат).
Что можно сделать
- Изучить динамику потенциалов: прогнать диагностические скрипты из репозитория (
vtheta_well_probe.py,refinement_flow_confirmation.py) по сохранённым чекпоинтам для анализа специализации ям Vθ. - Сравнить альтернативы трансформерам: использовать веса и замеры как контрольную точку при разработке компактных языковых моделей без классического self-attention.
Пример
REVERSE_CHANNEL=False, VPHI_GRAD_PATH='live', XI_GRAD_PATH='live',
LOWRANK_DAMPED_FLOW=True,
VPHI_ANALYTIC_FORCE=True, LAYER_CHECKPOINT=False,
LADDER_STEPS=130_000
SNAPSHOT_STEPS=[6_500, 16_500, 32_500, 48_500, 65_000, 84_500, 97_500, 113_500, 130_000]
Подробнее
Параметры: 76,572,110 (из них 35.4 млн в банке Vθ), 2 слоя, контекст 512 токенов.Метрики (OpenWebText val PPL): 48.58 (settled), лучший чекпоинт — 47.56 (шаг 126 500); для сравнения, GPT-2 (33.7M, 8 слоёв) на том же бюджете показал 42.69.
Обучение: 130 000 шагов (2.13B токенов), около 40 часов на одной NVIDIA A100 80 GB (пик VRAM — 46.2 GB при сплите 16×2).
Ограничения: только английский язык; модель исследовательская, для полноценного воспроизведения требуется ноутбук
colab_fock_cfc_baoab_lowrank_depth_ladder_openwebtext_d384.ipynb.









Comments