Carbon-X-SFT

Carbon-X-SFT от Hugging Face Bio — это chat-модель на 14,8 млрд параметров, обученная на последовательностях ДНК и тексте. Она принимает сырую ДНК прямо в диалоге и по-английски отвечает: оценивает патогенность мутаций, ищет регуляторные участки, классифицирует последовательности и предсказывает следующие основания. Это промежуточный этап между Carbon-X-Base и Carbon-X после RL.

📝 Ключевые особенности

• 🤓 14.8B параметров: 40 слоёв, hidden size 5120, GQA (40 query / 8 KV heads), SwiGLU, RMSNorm с QK-norm.
• 📝 Гибридный токенизатор: BPE Qwen3 для текста + 5 515 DNA-токенов; ДНК в промпте размечается автоматически.
• 🗣 Chat-модель; обучена и оценена с отключённым thinking.
• 👌 Контекстное окно 40 960 токенов.
• 🏃‍♂ Быстрый inference: запускается через vLLM на одной GPU.

⌨ Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'HuggingFaceBio/Carbon-X-SFT'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map='cuda')

Подробнее

Средний балл по пяти DNA-бенчмаркам — 59.3% с отключённым thinking; у Qwen3-14B 40.0%, у Carbon-X 66.7%.
SFT: 3 эпохи на смеси из 20 наборов, около 204K диалогов на эпоху; база — Qwen3-14B с DNA-словарём, дообученная на 302B токенах.
Ограничения: исследовательский чекпоинт, не прошёл клиническую валидацию; слабее Carbon-X; нет поддержки GGUF; качество падает при генерации длинных ДНК.
Лицензия Apache 2.0.