BindGPT Pretrained
генерация 3D-молекул через языковую модель
2 мин чтенияобновлено
Предобученная модель для проектирования лекарств от команды Insilico Medicine, которая решает задачи трёхмерного молекулярного дизайна как обычную генерацию текста. На входе она принимает специальные токены или формулу молекулы в формате SMILES (текстовая запись структуры), а на выходе выдаёт готовую молекулу вместе с трёхмерными координатами атомов. В отличие от узкоспециализированных моделей прошлого поколения, единая архитектура умеет переносить знания между задачами и работает в 100 раз быстрее за счёт оптимизаций инференса трансформеров. Пригодится биоинформатикам, хемоинформатикам и исследователям в области drug discovery.
Ключевые особенности
- Универсальный подход: объединяет генерацию 3D-молекул с нуля, генерацию конформеров (пространственных форм молекулы) и генерацию под карман белка в рамках одной LM (языковой модели).
- Высокая скорость работы: быстрый инференс трансформеров ускоряет сэмплирование на два порядка (в 100 раз) по сравнению с предыдущими методами.
- Zero-shot возможности: предобученная версия способна генерировать молекулы и конформеры без дополнительного дообучения в пределах распределения датасета Uni-Mol.
- Стандартный стек: запускается напрямую через привычную библиотеку
transformersи парсится в объекты молекул с помощьюrdkit.
Что можно сделать
- Сгенерировать новые 3D-молекулы: запустить безусловную генерацию с тега
, чтобы получить набор случайных валидных молекул с 3D-координатами. - Подобрать пространственную структуру: передать известную SMILES-формулу с токеном
и сгенерировать для неё набор трёхмерных конформеров. - Встроить в пайплайн разработки лекарств: использовать модель как быстрый генератор кандидатов для последующего отбора и дообучения с подкреплением (RL).
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("insilicomedicine/bindgpt_pretrained")
model = AutoModelForCausalLM.from_pretrained("insilicomedicine/bindgpt_pretrained").cuda()
start_tokens = tokenizer("", return_tensors="pt")
outputs = model.generate(input_ids=start_tokens['input_ids'][:, :-1].cuda(), do_sample=True, max_length=400)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
Подробнее
Обучена на распределении датасета Uni-Mol; также существуют дообученные версии на GEOM-DRUGS и с RL на CrossDocked.Для запуска примера требуются библиотеки transformers, tokenizers, rdkit, pytorch и GPU с поддержкой CUDA.
Для достижения заявленной 100-кратной скорости нужны flash-attention, mixed precision и батчинг из официального репозитория.
Ограничения: веса модели лицензированы исключительно для исследовательских (некоммерческих) целей.










Комментарии