Coli-ByT5-Small
оптимизация кодонов для E. coli
2 min readupdated
Модель берёт аминокислотную последовательность белка и выдаёт оптимизированную кодирующую последовательность ДНК (CDS) для экспрессии в Escherichia coli. Она построена на google/byt5-small — byte-level encoder-decoder примерно на 300 млн параметров — и дообучена через LoRA, после чего веса слиты в float16. В отличие от жадной замены кодонов по частоте, модель учится контекстной гармонизации кодонов на проверенных эндогенных последовательностях. Пригодится биоинформатикам и исследователям, которые готовят белковые конструкции для E. coli.
Ключевые особенности
- Работает на уровне UTF-8 байтов: без фрагментации токенизатора и OOV для букв аминокислот и нуклеотидов.
- На тестовом белке 539 а.к. дала 1617 нт и 100% совпадение трансляции — без миссенс- и нонсенс-замен.
- В том же тесте CAI (индекс адаптации кодонов) 0.884 и GC 54.6% — ближе к сбалансированному профилю, чем у greedy-базлайна с CAI 1.000.
- Не создала ни одного сайта узнавания рестрикционных ферментов; greedy-базлайн дал 1 сайт.
- Обучение: 3 эпохи, LoRA r=16, alpha=32, target_modules=all-linear, затем merge в safetensors float16.
Что можно сделать
- Подать последовательность белка и получить кандидат CDS для экспрессии в E. coli.
- Сравнить результат с частотной оптимизацией по CAI, GC-составу и сайтам рестрикции перед синтезом.
- Встроить в пайплайн Transformers через pipeline для пакетной генерации последовательностей.
- Использовать как стартовую кодонную гармонизацию, а затем проверить конструкцию экспериментально.
Пример
from transformers import pipeline
pipe = pipeline("text2text-generation", model="aakashdandekar2006/Coli-ByT5-Small", torch_dtype="float16", device_map="auto")
result = pipe("Optimize codon sequence for Escherichia coli: MSKGEELFTGVVPILVELDGDVNGHKFSVSGEGEG")
print(result[0]["generated_text"])
Подробнее
Бенчмарк на белке 539 а.к.: 1617 нт, CAI 0.884, GC 54.6%, 0 сайтов рестрикции; у greedy — CAI 1.000, GC 52.6%, 1 сайт.Архитектура: 12 encoder-блоков, 4 decoder-блока, 6 голов, d_model=1472, d_ff=3584, ~300.77M параметров.
Ограничения: только E. coli; перед синтезом нужна экспериментальная проверка и анализ вторичной структуры РНК.
Только для безопасных исследований с соблюдением норм биобезопасности.










Comments