SUSS

SUSS — набор чекпоинтов к препринту Ануара Жамбакина о том, что трансформер выучивает при адаптации к неизвестной динамике. Это GPT-подобные модели от 0,1M до 3,2M параметров, обученные с нуля на линейных системах, MuJoCo-сценах с контактом и задачах линейного адаптивного управления. Лицензия MIT, но рецензирования не было.

🤓 Ключевые особенности

• 🤔 Адаптация in-context: модель подстраивается к динамике, которую не видела при обучении.
• 😮 На линейных системах предиктор сначала следует точному байесовскому, а затем выходит на 1,59× байесовского excess risk.
• 🙅‍♂ Предрегистрированный механизм — оценка параметров в residual stream — отклонён: probe R² = 0,19.
• 🤓 В exploratory-экспериментах достаточные статистики обнаружились в key-value памяти внимания последних двух блоков.
• 🤝 Перестановка только этих ключей и значений между эпизодами переносит 91–94% поведения; результат воспроизведён на 10 сидах.
• ⌨ В репозитории есть чекпоинты для экспериментов A, B, C и scale study, а также baseline'ы.

⌨ Пример

import torch
from model import GPT, GPTConfig

ck = torch.load('runs/a/seed0.pt', map_location='cpu')
model = GPT(GPTConfig(**ck['cfg'])).eval()
model.load_state_dict(ck['state'])
# tokens: (batch, time, 3) = (x1, x2, u); output: (batch, time, 2)

Ноутбук quickstart воспроизводит главные числа на CPU за несколько минут.

Подробнее

Модели: 0,1M–3,2M параметров, GPT-style, обучены с нуля.
Главные цифры: 1,59× байесовского excess risk на линейных системах; probe R² = 0,19; перенос 91–94% поведения.
Ограничения: препринт без peer review; exploratory-выводы с dimension-matched контролями.
Код, статья и демо — на GitHub; чекпоинты лежат в runs/.