BryoCAD-Small-ATAC-Mpolymorpha-Ctrl-LoRA
LoRA для ATAC-seq у Marchantia polymorpha
1 мин чтенияобновлено
Это LoRA-адаптер для бинарного предсказания доступности хроматина на базе DNA foundation model BryoCAD-Small. Обучен на ATAC-seq данных контрольного условия Marchantia polymorpha; это финальный чекпоинт после 4 000 шагов. Не самостоятельная модель: для инференса нужен совместимый backbone BryoCAD-Small и обученная classification head.
Ключевые особенности
- Обучен на 512-bp окнах: позитивы — центры ATAC-seq пиков, негативы — неперекрывающиеся окна без пиков; хромосомы 7 и 8 оставлены для валидации.
- LoRA применена к
x_proj,in_projиout_proj: rank 8, alpha 32, dropout 0.1. - Бинарная классификация: класс 0 — negative, класс 1 — positive; positive softmax probability используется как accessibility score.
- В весах адаптера сохранён обученный
scorehead; веса backbone распространяются отдельно. - Для запуска нужны PyTorch, Transformers, PEFT, Mamba2 и CUDA.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForSequenceClassification
adapter_id = "bryocad/BryoCAD-Small-ATAC-Mpolymorpha-Ctrl-LoRA"
base = AutoModelForSequenceClassification.from_pretrained(
"bryocad/BryoCAD-Small", trust_remote_code=True, num_labels=2
)
model = PeftModel.from_pretrained(base, adapter_id).to("cuda").eval()
Подробнее
В карточке нет конкретных значений AUROC/F1: оценка проводилась без дообучения на heat-stress данных M. polymorpha и Arabidopsis thaliana.Ограничения: обучение на одном виде и одном условии; predictions — sequence-based accessibility scores, а не прямые измерения хроматина.
Стоит учитывать дисбаланс классов и выбранную схему негативов.










Комментарии