S-PLM-TM

S-PLM-TM от deepduoduo — набор весов для получения structure-aware эмбеддингов белковых последовательностей. На вход подаётся одна последовательность, на выходе — 1024-мерный вектор в трёх вариантах, плюс residue-level head для выравнивания. Бэкбон использует замороженный ProtT5-XL, который подгружается при запуске.

🔍 Ключевые особенности

• 💎 Три эмбеддинга: emb_raw для обучения downstream-моделей, emb_tm для поиска по структуре и remote homology, emb_ec для функционального retrieval.
• 🔗 Головы включены последовательно, а не параллельно: sequence → backbone → emb_raw → TM head → emb_tm → EC head → emb_ec.
• 📌 emb_tm L2-нормализован; скалярное произведение ≈ предсказанный TM-score.
• ⚙ emb_ec — retrieval-голова на triplet loss, без class logits и вероятностей EC-номеров.
• ⚠ В репозитории только веса; код, карточки и скрипты воспроизведения — в GitHub, который пока приватный до выхода статьи.
• 🛡 Каждая голова спарена с этим конкретным checkpoint; замена бэкбона без голов даёт молча бессмысленные векторы.

💻 Пример

import numpy as np

d = np.load("out.npz", allow_pickle=True)
d["emb_raw"]  # [N,1024] для downstream
d["emb_tm"]   # [N,1024] для поиска по структуре
d["emb_ec"]   # [N,1024] для EC-retrieval

Подробнее

В карточке: выход строго 1024-d, а не 1280; для EC head в DEER Figure-7 использовали --max-length 1024.
Воспроизводимость EC head: hit counts 222/323/378 и 90 per-family recall совпадают с эталоном.
ProtT5-XL (~11 GB) скачивается при первом запуске — задайте HF_HOME.
Лицензия PolyForm Noncommercial 1.0.0: коммерческое использование не разрешено.