Calpha
языковая модель для фолдинга белков
2 мин чтения
Calpha — это чат-модель на базе Qwen3.5-9B, которая умеет предсказывать трёхмерную структуру белка по его аминокислотной последовательности. На вход подаётся последовательность в обычном диалоге вместе с признаками из замороженного энкодера ESM2-3B, после чего модель генерирует специальный токен , а её скрытые состояния передаются в генеративную голову SimpleFold-3B для расчёта координат всех атомов. В отличие от классических специализированных моделей фолдинга, здесь сворачивание белка встроено напрямую в архитектуру LLM (большой языковой модели). Решение пригодится исследователям в области биоинформатики и вычислительной биологии для экспериментов с мультимодальными белковыми агентами.
Ключевые особенности
- Гибридная архитектура: связывает дообученную Qwen3.5-9B с замороженным белковым энкодером ESM2-3B через адаптер (27M параметров) и головой SimpleFold-3B через фронтенд (8,4M параметров).
- Генерация в диалоге: фолдинг запускается прямо внутри чат-запроса через триггерный токен
, при этом базовую LLM можно загрузить и отдельно черезtransformers. - Открытые данные и артефакты: в репозитории выложены не только веса модели, но и датасет обучения (77 ГБ) вместе с сырыми результатами бенчмарков.
- Честный анализ ограничений: автор прямо указывает, что языковая прослойка не повышает точность относительно прямой связки ESM2 → SimpleFold-3B, особенно на длинных цепях.
Что можно сделать
- Предсказывать координаты атомов одиночных белковых цепей из CLI или Python-скрипта по аминокислотной последовательности.
- Использовать открытые веса, бенчмарки и обучающий набор для исследований по интеграции биомолекулярных задач в текстовые LLM.
- Запускать дообученную часть
llm/как самостоятельную текстовую модель в стандартном пайплайнеtransformers.
Пример
from calpha import Calpha
model = Calpha.from_pretrained("liuyong9975/Calpha")
out = model.fold("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", out_dir="predictions")Подробнее
Бенчмарки (TM-score по альфа-углеродам): FoldBench-334 — 0.807, CASP16 — 0.635, CAMEO-2025 — 0.900.Требования к железу: одна GPU с объёмом памяти около 48 ГБ VRAM.
Ограничения: поддерживает только одиночные цепи без лигандов и комплексов; на цепях длиннее 300 остатков точность заметно снижается; точность на MMLU-Pro после обучения снизилась с 0.774 до 0.703.
Лицензия: сама LLM и адаптеры под Apache 2.0, но для генерации структур требуются веса SimpleFold-3B под исследовательской лицензией Apple (только некоммерческие исследования, не для клинического применения).










Комментарии