InterSeek 35M

Компактная модель на 35M параметров, дообученная от Meta ESM-2 35M (facebook/esm2_t12_35M_UR50D). По двум аминокислотным последовательностям предсказывает, взаимодействуют ли белки: дообучены все 12 слоёв энкодера и CLS-голова взаимодействия.

🧐 Ключевые особенности

• 🧬 Пары токенизируются совместно как [CLS] A [EOS] B [EOS], до 1 024 токенов и два оконных представления на пару; логиты окон пулятся через log-mean-exp
• 🎯 Опубликован чекпойнт с валидации на апдейте 18 000 из 30 600 (три эпохи, seed 17)
• ⚙️ Инференс через predict.py на CPU, CUDA и Apple Silicon (mps), вход — CSV с sequence_a и sequence_b
• 📏 Фиксированный порог 0.48556941747665405, выбранный по MCC на человеческой валидации до финальных тестов
• 🧪 В папке esm2/ лежит дообученный бэкбон в обычном формате Transformers, отдельно — interaction_head.safetensors

🚀 Пример

pip install huggingface_hub
hf download appliedCL/interseek-35m --local-dir interseek-35m
cd interseek-35m
pip install -r requirements-inference.txt ./interseek-0.3.0-py3-none-any.whl
python predict.py --data example_pairs.csv --predictions predictions.csv --device cpu

Подробнее

Финальные тесты: human AUROC 0.6800, average precision 0.6700, MCC 0.2487; yeast AUROC 0.7207, но precision всего 0.1441 при recall 0.7674.
Веса на корне репозитория не являются стандартной моделью классификации последовательностей — нужна реализация из wheel.
Скоры не откалиброваны как вероятности физического связывания; результаты одного seed не доказывают превосходство над другими методами.
Обучение: BCE + MLM (вес 0.1), маскирование 15% остатков, encoder lr 2e-5, head lr 1e-4, BF16, одна RTX 4090.