REVE-small

REVE-small — 4-слойная версия REVE-base от команды BRAIN (IMT Atlantique) и UdeM. Это transformer-модель для обработки EEG-сигналов: она извлекает эмбеддинги и адаптируется к разным конфигурациям электродов. В модели 12.7M параметров.

🔥 Ключевые особенности

• 👀 4 слоя трансформера, ширина 512, 8 голов, head dim 64; feed-forward GEGLU с ratio 2.66.
• 🐾 Тот же патчинг, что у REVE-base: 200 сэмплов с перекрытием 20 при 200 Hz, плюс 4D positional encoding.
• 💪 Работает с REVE position bank — можно подавать разные наборы электродов.
• 🔥 Предобучена MAE-целью, но это ранний чекпоинт: эпоха 15 из 200.
• 👉 Опубликован только энкодер; MAE-декодер и состояние оптимизатора не выложены.
• 💸 Лицензия REVE Responsible Use License v1.0 разрешает research, commercial, educational и personal use.

💪 Пример

Извлечение эмбеддингов с позиционным банком:

from transformers import AutoModel

pos_bank = AutoModel.from_pretrained("brain-bzh/reve-positions", trust_remote_code=True)
model = AutoModel.from_pretrained("tkhieu/reve-small", trust_remote_code=True)
positions = pos_bank(electrode_names).expand(eeg_data.size(0), -1, -1)
output = model(eeg_data, positions)

Подробнее

Бенчмарков в карточке нет.
12.7M параметров, 4 слоя; это ранний чекпоинт — эпоха 15 из 200.
Выложен только энкодер, без MAE-декодера и optimizer state.
Лицензия: REVE Responsible Use License v1.0.