MtReNIRS Pretrained
предобученный энкодер для сигналов fNIRS в braindecode
2 min readupdated
Репозиторий содержит побайтово точную копию весов предобученного энкодера MtReNIRS (Self-Supervised Foundation Model для нейроваскулярных представлений) от исследователей Microsoft, подготовленную для интеграции в библиотеку braindecode. Модель принимает 10-секундные отрезки сигналов функциональной ближней инфракрасной спектроскопии (HbO/HbR — данные об оксигенации крови в мозге) и извлекает из них информативные нейронные признаки для последующих задач анализа. В отличие от обучения нейросетей с нуля на небольших нейрофизиологических выборках, готовые веса позволяют сразу переносить выученные представления под свои задачи классификации. Релиз пригодится исследователям нейроинтерфейсов (BCI) и специалистам по обработке биосигналов на Python.
Ключевые особенности
- Полная совместимость с
braindecode— ключи чекпоинтаmtrenirs_10s.ptсовпадают со структурой классаMtReNIRSи загружаются напрямую черезload_state_dict. - Строгий формат входных данных — модель ожидает 10-секундные окна (100 отсчётов на частоте 10 Гц) по каналам HbO/HbR.
- Специфическая нормализация — каждый канал должен быть стандартизирован (z-score) по всей записи с обрезкой значений на уровне 6 и привязкой координат каналов к системе Standard 10-05.
- Свободная лицензия MIT — оригинальные веса выпущены Microsoft Corporation под открытой коммерчески дружелюбной лицензией.
Что можно сделать
- Использовать энкодер как базу для трансферного обучения (transfer learning) и классификации состояний мозга по данным fNIRS внутри пайплайнов
braindecode. - Воспроизводить эксперименты из научной работы Chae et al. (2026) и сравнивать качество нейроваскулярных представлений со своими архитектурами.
Пример
import torch
from huggingface_hub import hf_hub_download
from braindecode.models import MtReNIRS
path = hf_hub_download("braindecode/mtrenirs-pretrained", "mtrenirs_10s.pt")
model = MtReNIRS(chs_info=raw.info["chs"], n_outputs=2, n_times=100, sfreq=10.0)
model.load_state_dict(torch.load(path, map_location="cpu", weights_only=True))
Подробнее
Формат входа: 10 Гц HbO/HbR, окна по 100 сэмплов (10 секунд), пространство каналов Standard 10-05.Структура файла: чекпоинт содержит словарь с ключами
config и model.Происхождение: зеркало файла
models/weights/mtrenirs_10s.pt из репозитория microsoft/MtReNIRS (коммит 16c3082).Лицензия: MIT (Copyright Microsoft Corporation).










Comments