OncoEvoFM
трансформер для эмбеддингов соматических мутаций
2 min readupdated
OncoEvoFM — предобученная модель от OncoEvoAI на 48,5 млн параметров, которая преобразует данные о соматических мутациях и изменениях числа копий (CNA) в векторные представления (эмбеддинги) на уровне образца пациента. Архитектура построена на 12 слоях трансформера со скрытой размерностью 512 и 64-мерным клональным «узким горлышком» (bottleneck), а также сохраняет все исходные головы задач. В отличие от текстовых языковых моделей, она работает напрямую со структурированными геномными событиями в координатах GRCh37/hg19 и возвращает набор специализированных векторов для разных аспектов профиля опухоли. Модель пригодится биоинформатикам и исследователям в области вычислительной онкологии для представления молекулярных профилей пациентов.
Ключевые особенности
- Компактная архитектура: 48,5 млн параметров, 12 слоёв трансформера (hidden size 512) и 64-мерное латентное представление
z_clonal. - Детализированные выходы: один прогон возвращает сразу несколько именованных тензоров —
e_patient,e_clonal,e_process,e_lineage,e_assay, состояния путейpathway_statesи эмбеддинги отдельных событий. - Учёт геномного контекста: принимает список мутаций (ген, хромосома, позиция, тип варианта, белковое изменение, число прочтений) и опциональные сегменты
cna, автоматически загружая замороженные признаки. - Совместимость с Transformers: подключается через стандартные
AutoModelиAutoProcessorпосле импорта пакетаoncoevofm(без необходимости включатьtrust_remote_code=True).
Что можно сделать
- Извлекать признаки образцов: получать векторные представления
e_patient(размерностью 512) или клональные векторыz_clonal(размерностью 64) из таблиц соматических мутаций и CNA для последующего анализа. - Работать на уровне отдельных событий: снимать паддинг с
last_hidden_stateпо маскеpad_mask, чтобы получать эмбеддинги для каждой конкретной мутации в образце. - Дообучать под свои задачи: модифицировать и файнтюнить веса модели в коммерческих или научных пайплайнах благодаря открытой лицензии CC BY 4.0.
Пример
import torch, oncoevofm
from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("OncoEvoAI/OncoEvoFM", trust_remote_code=False).eval()
processor = AutoProcessor.from_pretrained("OncoEvoAI/OncoEvoFM", trust_remote_code=False)
samples = [{"mutations": [{"gene": "KRAS", "chromosome": "12", "start": 25398285, "variant_classification": "Missense_Mutation", "variant_type": "SNP", "consequence": "missense_variant", "hgvsp": "p.G12C", "t_alt_count": 180, "t_ref_count": 250}]}]
with torch.inference_mode():
embeddings = model(**processor(samples).to(model.device))
Подробнее
Обучение проводилось на данных AACR Project GENIE версии 19.0-public.Для запуска требуются Python 3.12 или 3.13 и пакет
oncoevofm (протестирована версия 0.1.1).Геномные координаты должны быть заданы в сборке GRCh37/hg19; имена выходных тензоров отражают их роли при обучении и не гарантируют строго изолированных биологических факторов.
Веса модели (
model.safetensors) распространяются по лицензии CC BY 4.0 (разрешено коммерческое использование и модификация при указании авторства).









Comments