CortexDecoder
реконструкция изображений по данным фМРТ мозга
2 min readupdated
CortexDecoder от исследователя teooi (совместно с соавторами статьи) переводит активность зрительной коры головного мозга в полноценные картинки. Замороженный энкодер CortexMAE превращает плоские карты коры (cortical flatmaps) в 200 нейронных токенов, а два специальных модуля-моста (cross-attention bridges) преобразуют их в признаки изображений. Один мост отвечает за низкоуровневые детали через VGG16-BN и Deep Image Prior, а второй — за семантику через OpenCLIP ViT-bigG/14 для генерации в SDXL-unCLIP. Модель пригодится нейробиологам и ML-инженерам, которые работают с декодированием сигналов мозга (fMRI-to-image).
Ключевые особенности
- Двойная архитектура мостов: семантический
clip_bridge(39.3M параметров) выдаёт 256 токенов OpenCLIP ViT-bigG/14 размерности 1664, а низкоуровневыйvgg_bridge(43.7M параметров) — 7190 токенов VGG16-BN размерности 512. - Работа со зрительной корой: на вход подаются патч-эмбеддинги от замороженного энкодера CortexMAE (200 токенов размерности 768), рассчитанные только по областям зрительной коры.
- Готовые веса в safetensors: в репозитории лежат очищенные веса обоих мостов, конфигурация
config.jsonи исходные чекпоинты обучения вместе с состоянием оптимизатора.
Что можно сделать
- Восстанавливать увиденные человеком изображения по записям фМРТ из датасета Natural Scenes Dataset (NSD Subject 1), используя связку мостов с SDXL-unCLIP и Deep Image Prior.
- Подключать
clip_bridgeв пайплайны на базе SDXL-unCLIP для кондиционирования генерации по нейробиологическим эмбеддингам. - Использовать сохранённые чекпоинты с состоянием оптимизатора для продолжения обучения или адаптации под других испытуемых из NSD.
Пример
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from cortexdecoder.core.config import Config
from cortexdecoder.models.bridge import FlatmapSingleHeadBridge
bridge = FlatmapSingleHeadBridge(Config(), brain_dim=768, num_patches=200, target="clip")
bridge.load_state_dict(load_file(hf_hub_download("teooi/cortexdecoder", "clip_bridge.safetensors")))
clip_tokens = bridge(brain_tokens)Подробнее
Обучено на NSD Subject 1; оценка на 998 тестовых изображениях (по одному сэмплу диффузии на картинку).Метрики: CLIP — 93.5%, Incep — 94.9%, Alex(2) — 98.1%, Alex(5) — 99.1%, SSIM — 0.413, PixCorr — 0.366.
Для запуска требуется код из репозитория GitHub (папка
code/v2) и предварительно сгенерированные токены из CortexMAE.









Comments