pooper-b10-1b
геномная модель на 983M параметров в стиле AlphaGenome
2 min readupdated
Исследовательский прототип от автора zatumout предсказывает 1885 функциональных геномных сигналов проекта ENCODE (ATAC-seq, DNase-seq, histone ChIP-seq и RNA-seq для сборки генома человека GRCh38) с точностью до одного нуклеотида (1 bp) напрямую по последовательности ДНК. В основе лежит архитектура alphagenome со стеком из 37 слоёв (пресет S), обученная методом дистилляции на сжатых представлениях Zipoop teacher shards для окон длиной 32 768 пар оснований. В отличие от меньшей версии pooper-b6 (407M параметров), увеличение масштаба до ~983M за те же 20 000 шагов не дало прироста качества на валидации. Модель пригодится биоинформатикам и исследователям для экспериментов с геномными архитектурами и дистилляцией треков.
Ключевые особенности
- Архитектура
alphagenomeс башней из 37 слоёв и выходной головойTrackHead(1536, 1 bp)на 1885 треков. - Обучение через дистилляцию: таргетами выступали переобученные на окнах по 32 768 bp маленькие сети-учителя (Zipoop teacher shards).
- В комплекте выложены веса
best.pt(~12 ГБ), полный логlog.jsonlи статистикиtrack_stats.ptдля денормализации предсказаний. - Лучше всего модель предсказывает открытый хроматин (ATAC и DNase), тогда как RNA-seq и гистоновые метки ChIP даются ей заметно слабее.
Что можно сделать
- Использовать чекпоинт и
track_stats.ptв исследовательских пайплайнах PyTorch для анализа регуляторных сигналов по участкам ДНК. - Сравнить поведение 983M-модели с более компактной версией
pooper-b6(407M), чтобы изучить влияние масштабирования и расписания learning rate в геномных сетях.
Пример
В карточке не приведён код инференса — автор опубликовал сырой чекпоинт PyTorch: загрузите веса из best.pt (проверив контрольную сумму по SHA256_CHECK.txt), подайте на вход закодированную последовательность ДНК и переведите выход модели из нормализованного пространства в исходные значения треков с помощью статистик из track_stats.pt.
Подробнее
Валидация (fold0, корреляция Пирсона по окнам, шаг 20 000): ATAC — 0.658, DNase — 0.641, ChIP — 0.439, RNA-seq — 0.275, mean — 0.402, balanced — 0.503.Обучение: 982 728 769 параметров, 20 000 шагов (peak lr 2e-4), ~3.19 с/шаг, потребление около 29.9 ГБ GPU-памяти (~19 часов на один прогон).
Ограничения: исследовательский прототип на одном сиде без теста на отложенном фолде (fold1); не предназначен для клинического применения или оценки эффекта мутаций.










Comments