Carbon-X

Carbon-X — открытая 14,8B decoder-only LLM из семейства Carbon (Hugging Face Bio), выросшая из Qwen3-14B и обученная совместно на ДНК и естественном языке. Она принимает сырую ДНК прямо в чате и отвечает по-английски: оценивает патогенность мутаций, ищет регуляторные участки, классифицирует последовательности и предсказывает следующие основания. Архитектура — один decoder и один поток токенов, без отдельного DNA-энкодера.

🔥 Ключевые особенности

• 🐾 Гибридный токенизатор: BPE-словарь Qwen3 для текста + 5 515 DNA-токенов; ДНК кодируется 6-мерами, один токен — 6 пар оснований.
• 💪 14,8B параметров: 40 слоёв, hidden size 5120, GQA (40 query / 8 KV heads), SwiGLU, RMSNorm с QK-norm; контекст 40 960 токенов.
• 👀 Чат-модель без «размышлений»: авторы посттренировали и оценивали с enable_thinking=False и рекомендуют так же.
• 💸 Экономичный инференс: веса в bfloat16 помещаются на одну 80-GB GPU, обслуживание через vLLM.
• 🥳 Обучение: 302B токенов mid-training на ДНК, биотексте, английском и инструкциях, затем SFT и RL с проверяемыми наградами.

👉 Пример

pip install -U vllm
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code

После запуска доступен OpenAI-совместимый endpoint; в запросе можно передать enable_thinking=False.

Подробнее

Средний результат на пяти DNA-бенчмарках — 66,7% без reasoning: на 27 пунктов выше Qwen3-14B и близко к GPT-6.1 Sol (67,5%), но примерно за 1/1800 стоимости инференса на задачу.
Лидерство — в coding variant effects (74,9) и next-base prediction (39,4).
Ограничения: 6-меры строятся только из A/C/G/T; иные символы, например N, становятся одним <oov>. Без контекста модель может угадывать функцию последовательности.
Первый запуск токенизатора требует доступа к Hub.