Barca-0.8B SFT Design
генерация белков по текстовому описанию
2 мин чтенияобновлено
Компактная языковая модель на 752 млн параметров, обученная проектировать аминокислотные последовательности белков по заданным функциональным и структурным требованиям. В основе лежит база khairi/barca-0.8b-base с архитектурой Qwen3_5ForCausalLM, дообученная методом full SFT (полная тонкая настройка всех весов) в два этапа. В отличие от обычных текстовых LLM, в словарь добавлены специальные токены для 20 аминокислот с префиксом ζ и теги , чтобы модель выдавала последовательность по одному остатку на токен. Пригодится биоинформатикам и исследователям для быстрого прототипирования новых белков под конкретные задачи.
Ключевые особенности
- Архитектура
Qwen3_5ForCausalLM(24 слоя, 752M параметров) со словарём на 248 099 токенов. - Специальный формат вывода: каждая аминокислота кодируется отдельным токеном внутри тегов
.... - Двухэтапное обучение: сначала на датасете Mol-Instructions (3000 шагов), затем дообучение на 4 872 отобранных примерах дизайна белков.
- Работает через стандартную библиотеку
transformersи понимает инструкции на английском языке.
Что можно сделать
- Генерировать последовательности кандидатных белков с нужными доменами (например, TIR-доменом) по списку требований.
- Использовать в исследовательских пайплайнах для первичного прототипирования ферментов с заданной каталитической активностью.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "khairi/barca-0.8b-sft-design"
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, device_map="auto")
messages = [{"role": "user", "content": "Design a protein with a TIR domain."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
output = model.generate(**tokenizer(prompt, return_tensors="pt").to(model.device), max_new_tokens=512)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Подробнее
Обучение: full fine-tune в fp32 с SDPA attention; best eval loss на этапе 1 — 1.3612, на этапе 2 — 2.0732 (на разных валидационных выборках).Контекст: обучающие примеры ограничены длиной 2 048 токенов.
Ограничения: сгенерированные последовательности не проходили экспериментальную проверку, модель не предназначена для общих текстовых задач.










Комментарии