gt-embed-minimal-v1
лёгкие эмбеддинги для ДНК человека
2 мин чтенияобновлено
Компактная модель от автора Bell Eapen превращает белок-кодирующие последовательности ДНК (CDS) в компактные векторные представления (эмбеддинги) размерностью 256. В её основе лежит 2-слойный Transformer Encoder с ~2M параметров, обученный методом контрастивного обучения на ~17 000 человеческих транскриптах из GENCODE v50 (сборка GRCh38). Главная особенность — токенизация на уровне кодонов (троек нуклеотидов, кодирующих аминокислоты) через Genomic Tokenizer вместо посимвольного разбора, благодаря чему модель улавливает структуру на уровне синтеза белка. Подойдёт биоинформатикам и разработчикам для быстрого прототипирования и отладки пайплайнов.
Ключевые особенности
- Кодонный словарь на 26 токенов: 20 токенов под кодоны аминокислот и 6 служебных токенов (
[CLS],[SEP],[BOS],[MASK],[PAD],[UNK]). - Сверхлёгкая архитектура: всего ~2M параметров (2 слоя, 4 головы внимания, скрытый размер 256), удобна для тестов и запуска даже на CPU.
- Нормализованный выход: на выходе получаются L2-нормализованные векторы размерностью 256 для последовательностей длиной до 2048 токенов (~6144 нуклеотидов).
- Часть линейки моделей: это минимальная версия для разработки — в семействе также заявлены варианты Small (~10M параметров) и Regular (~50M) для более точных задач.
Что можно сделать
- Приоритизация генов: использовать в исследовательских пайплайнах при изучении редких наследственных заболеваний и поиске генов, связанных с болезнями.
- Аннотация вариантов: оценивать и группировать новые генетические варианты белок-кодирующих участков.
- Графы знаний: строить векторные связи между генами и заболеваниями в биоинформатических графах.
Пример
import torch
from genomic_tokenizer import GenomicTokenizer
tokenizer = GenomicTokenizer(model_max_length=2048)
cds_sequence = "ATGGCCGCCTACAAGCAGCAGTCTGGGGAAGACGGGCTACCTTGCCCCTGA"
tokens = tokenizer(cds_sequence)
input_ids = torch.tensor([tokens['input_ids']])
with torch.no_grad():
embedding = model(input_ids) # shape: [1, 256], L2-normalizedПодробнее
Обучение: контрастивное обучение на ~17 000 белок-кодирующих транскриптах человека (GENCODE v50, геном GRCh38.p14).Железо и требования: ~2M параметров, работает на CPU в связке с PyTorch 2.5.1 и пакетами genomic-tokenizer / gtembed.
Ограничения: только геном человека (не включает некодирующие и регуляторные области), длина до 2048 токенов, не прошла клиническую валидацию и не предназначена для медицинской диагностики.
Лицензия: Apache 2.0.










Комментарии