gallistel-icl
трансформер для исследования in-context обучения на потоках событий
2 мин чтенияобновлено
Компактный каузальный трансформер от исследователя rohitravi2, обученный предсказывать время до следующего безусловного стимула (US) в потоках событий по парадигме Галлистела. Модель работает в режиме in-context learning (обучение в контексте без обновления весов при инференсе) и сравнивается пошагово с точным байесовским наблюдателем. В основе лежит 4-слойный трансформер (d=128, 4 головы внимания, контекст 1024 токена). Инструмент пригодится исследователям когнитивных моделей, вычислительной нейробиологии и механик in-context обучения в нейросетях.
Ключевые особенности
- Два режима априорного ожидания: доступны веса для P_CONT = 0.05 (
icl_fullp005_s0.pt, где 5% потоков содержат реальную связь событий) и P_CONT = 0.5 (icl_fullv2_s0.pt). - Экспорт в ONNX: в репозиторий включена модель
model.onnx(float32) с динамической длиной последовательности и расхождением с PyTorch меньше 4e-6. - Инвариантность к масштабу времени: модель демонстрирует стабильную скорость усвоения связи (медиана 5–6 проб при C/T = 4.5 и 3 пробы при C/T = 27) независимо от длительности интервала T (4, 12 или 36).
- Устойчивость к ложным срабатываниям: на контрольных перемешанных потоках (shuffle controls) зафиксировано 0 из 20 ложных срабатываний при C/T 4.5, 27 и 110.
Что можно сделать
- Сравнить нейросеть с байесовским эталоном: запустить парное тестирование на синтетических потоках событий с разными параметрами C/T и T через Python API или CLI.
- Запустить в браузере или через ONNX: протестировать поведение модели без локальной установки в Space на Hugging Face или встроить
model.onnxв лёгкие исследовательские скрипты на CPU.
Пример
from gallistel_icl.model import load_checkpoint
from gallistel_icl import paired_readout
m = load_checkpoint(name="p005")
r = paired_readout(m, CT=9.0, T=12.0, seed=0)
print(r["model_acq"], r["bayes_acq"])Подробнее
Архитектура: 4 слоя, 4 головы, размерность d=128, окно 1024 токена, без обновления весов при тесте.Обучение: 20 000 шагов, батч 32, AdamW (3e-4, one-cycle), точность bf16, функция потерь MSE на log-wait.
Железо: инференс и демо работают на CPU за несколько секунд.
Ограничения: опубликован только один сид (seed 0) и одна архитектура; автор отдельно отмечает, что это исследовательский инструмент, а не модель работы биологического мозга.










Комментарии