ProteinJEPA ESM-C 600M

Это compute-matched MLM-only контроль для статьи ProteinJEPA: белковая модель с архитектурой ESM-C 600M (36 слоёв, hidden size 1152, около 575M параметров). Обучена с нуля на UniRef50 только с MLM-лоссом, без JEPA-лосса; задача — fill-mask для белковых последовательностей.

▶ Ключевые особенности

• ➕ Архитектура ESM-C 600M: 36 слоёв, hidden size 1152, ~575M параметров.
• ➖ Только MLM: обучение с random init (seed 42) на UniRef50, JEPA-лосса нет.
• 🟰 Compute-matched контроль: 83 070 обновлений, что соответствует дополнительным вычислениям JEPA-учителя.
• 🔜 Продолжение step-matched MLM-only run с шага 56 800; peak LR 1e-3 и WSD cooldown с шага 66 456.
• ✖ Около 260k токенов на обновление, mask rate 20% (80/10/10), оптимизатор AdamW.

🔜 Пример

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "GrimSqueaker/ProteinJEPA-ESMC600M-scratch-MLM-only-compute-matched",
    trust_remote_code=True,
)

Подробнее

Бенчмарки — в статье ProteinJEPA; в карточке цифр нет. Требования к VRAM не указаны.
Лицензия весов и карточки — other; код архитектуры из Synthyra/ESMplusplus_large с MIT и NOTICE EvolutionaryScale Cambrian Non-Commercial License — проверяйте условия, особенно для коммерческого использования.
Всего 1.16 эпохи UniRef50; последняя часть прогона повторяет начало потока.