К содержимому
Другое

gallistel-icl

трансформер для исследования in-context обучения на потоках событий

2 мин чтенияобновлено

Компактный каузальный трансформер от исследователя rohitravi2, обученный предсказывать время до следующего безусловного стимула (US) в потоках событий по парадигме Галлистела. Модель работает в режиме in-context learning (обучение в контексте без обновления весов при инференсе) и сравнивается пошагово с точным байесовским наблюдателем. В основе лежит 4-слойный трансформер (d=128, 4 головы внимания, контекст 1024 токена). Инструмент пригодится исследователям когнитивных моделей, вычислительной нейробиологии и механик in-context обучения в нейросетях.

Ключевые особенности

  • Два режима априорного ожидания: доступны веса для P_CONT = 0.05 (icl_fullp005_s0.pt, где 5% потоков содержат реальную связь событий) и P_CONT = 0.5 (icl_fullv2_s0.pt).
  • Экспорт в ONNX: в репозиторий включена модель model.onnx (float32) с динамической длиной последовательности и расхождением с PyTorch меньше 4e-6.
  • Инвариантность к масштабу времени: модель демонстрирует стабильную скорость усвоения связи (медиана 5–6 проб при C/T = 4.5 и 3 пробы при C/T = 27) независимо от длительности интервала T (4, 12 или 36).
  • Устойчивость к ложным срабатываниям: на контрольных перемешанных потоках (shuffle controls) зафиксировано 0 из 20 ложных срабатываний при C/T 4.5, 27 и 110.

Что можно сделать

  • Сравнить нейросеть с байесовским эталоном: запустить парное тестирование на синтетических потоках событий с разными параметрами C/T и T через Python API или CLI.
  • Запустить в браузере или через ONNX: протестировать поведение модели без локальной установки в Space на Hugging Face или встроить model.onnx в лёгкие исследовательские скрипты на CPU.

Пример

from gallistel_icl.model import load_checkpoint
from gallistel_icl import paired_readout

m = load_checkpoint(name="p005")
r = paired_readout(m, CT=9.0, T=12.0, seed=0)
print(r["model_acq"], r["bayes_acq"])
ПодробнееАрхитектура: 4 слоя, 4 головы, размерность d=128, окно 1024 токена, без обновления весов при тесте.
Обучение: 20 000 шагов, батч 32, AdamW (3e-4, one-cycle), точность bf16, функция потерь MSE на log-wait.
Железо: инференс и демо работают на CPU за несколько секунд.
Ограничения: опубликован только один сид (seed 0) и одна архитектура; автор отдельно отмечает, что это исследовательский инструмент, а не модель работы биологического мозга.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.0 GB · готовые файлы0.5 GB
  • FP8 / INT8рекомендуемвеса 0.0 GB0.5 GB
  • 4-bitвеса 0.0 GB0.5 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # rohitravi2/gallistel-icl
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download rohitravi2/gallistel-icl --local-dir ~/models/gallistel-icl
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к gallistel-icl
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии gallistel-icl — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

rohitravi2/gallistel-icl
Автор
rohitravi2
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

skyPeak-11n

skyPeak-11n