Sage-SciPerception

Sage-SciPerception от InternLM — набор обученных projectors, которые отображают научные представления в пространство эмбеддингов языковой модели. Поддерживаются кристаллы, спектры, биологические последовательности и биосигналы; опубликованные чекпоинты собраны для glm-5.3-flash.

👌 Ключевые особенности

• 🤝 Соединяет научные модальности с LLM через projectors; научные модели и LLM при обучении остаются замороженными.
• 📝 Задачи: свойства материалов, разметка PPI-сайтов, идентификация молекул по спектрам, классификация ЭКГ/ЭЭГ, splice-site и семейства РНК.
• 😎 Готовые веса для CIF, protein-seq, spectra, ECG, DNA, EEG, RNA, XRD и protein-struct.
• 🤔 Каждый чекпоинт хранит совместимую языковую модель и формат входа в config.json.
• 👌 Инференс через vLLM с prompt_embeds: проекция научных признаков выполняется на клиенте, генерация — на сервере.

📝 Пример

Проверка загрузки projector’а на CPU из карточки:

from load_projector import load_projector

projector, config = load_projector(
    "projectors/glm-5.3-flash/cif/jarvis", device="cpu"
)
print(config["task"])
print(sum(p.numel() for p in projector.parameters()))
print(config["output_dim"])

Подробнее

Бенчмарки: JARVIS-DFT formation energy — MAD/MAE 15.03 (больше — лучше); MPBind PPI — per-protein F1 61.12%; BEACON ncRNA — accuracy 97.35%.
Для inference нужен vLLM с --enable-prompt-embeds; в примере — tensor-parallel-size 8 и max-model-len 8192. VRAM не указан.
Ограничения: лицензия не указана; task-adapted научные модели для DNA, MPBind и ncRNA не входят; пример стартует с уже подготовленных scientific features.
Энкодеры и preprocessing — отдельные зависимости.