BioReason-Pro v1 9B
нейросеть для анализа функций белков
2 мин чтенияобновлено
Модель adibvafa/bioreason-pro-v1-9b-nofeatures предназначена для биоинформатики: она анализирует данные о белках и предсказывает их биологические функции. На выходе система формирует структурированные списки по категориям MF (молекулярная функция), BP (биологический процесс) и CC (клеточный компонент), а также итоговую сводку в формате базы данных UniProt. Модель построена на базе с 9 млрд параметров (8.95B) и обучена по двухэтапной схеме: сначала тренировался проектор (адаптер для белковых представлений), а затем применялась LoRA (метод эффективного дообучения без перезаписи всех весов). В отличие от версий v2 и v3 этой линейки, данный вариант обучен на корпусе v1 без использования аннотаций доменов InterPro. Инструмент пригодится исследователям в области молекулярной биологии и разработчикам пайплайнов для функциональной аннотации белков.
Ключевые особенности
- Обучение без InterPro: модель работает без входных признаков белковых доменов (в шаблоне промпта секция признаков остатков заполняется как
None annotated). - Гибридный формат ввода-вывода: принимает запросы по шаблону версии v2, но генерирует ответы строго в структуре данных v1 со списками MF/BP/CC и резюме UniProt.
- Двухэтапное обучение: пайплайн включает предварительную настройку проектора и последующее LoRA-дообучение с применением dropout (случайного отключения части данных о партнерах и структуре для лучшей обобщающей способности).
- Специфика запуска: при инференсе требует явного указания пути к эмбеддингам через флаг
--go_embeddings_path, так как чекпоинт содержит веса энкодераgo_encoder.ptвместо готовых векторов.
Что можно сделать
- Автоматически составлять функциональные описания и сводки в стиле UniProt для неизученных белковых последовательностей.
- Сравнивать влияние обучающих выборок на качество предсказаний, сопоставляя работу этой модели с версиями
bioreason-pro-v2-9b-nofeaturesиbioreason-pro-v2-9b-bntok. - Интегрировать чекпоинт в исследовательские скрипты оценки из репозитория
bowang-lab/BioReason-Pro(эксперимент003-v1-context-dependence).
Пример
--protein_projection_norm none --protein_projection_norm_target 0Подробнее
Параметры: 8.95B (чекпоинт эпохи 07).Датасет обучения: wanglab/bioreason-pro-sft-reasoning-data (корпус v1).
Ограничения: модель использует ненормализованную проекцию; при запуске через
scripts/sh_eval.sh обязательно переопределять флаги нормализации (по умолчанию там стоит blocknorm), иначе возникнет ошибка загрузки весов.









Комментарии