CENO-9B-A3B-1m

CENO-9B-A3B-1m — длинноконтекстный чекпойнт 9B DNA-модели CENO от CladeTeam. Это causal language model по геномным последовательностям на гибридном бэкбоне Nemotron-H: Mamba / Attention / MoE, без MSA на входе. 8,9 млрд параметров, bfloat16, лицензия Apache-2.0.

✨ Ключевые особенности

• 🌕 Контекст обучения — 1 048 576 токенов; у Mamba/Attention-бэкбона нет жёсткого окна контекста.
• 💻 42 скрытых слоя, hidden size 2560, 20 голов внимания.
• 🐉 MoE: 8 экспертов, top-2 на токен; словарь 512, character-level токенизатор.
• 🔥 Подходит для генерации геномных последовательностей, извлечения эмбеддингов и downstream-адаптации.
• 👀 Standalone-loadable с trust_remote_code=True; код модели включён в репозиторий.
• 💳 Mamba-слои требуют CUDA-ядер; config, tokenizer и загрузка весов безопасны на CPU.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

ckpt = "CladeTeam/CENO-9B-A3B-1m"
model = AutoModelForCausalLM.from_pretrained(ckpt, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(ckpt, trust_remote_code=True)
ids = tokenizer.encode("ATCGATCG", return_tensors="pt")
# out = model.generate(ids, max_new_tokens=128)  # нужна CUDA GPU

Подробнее

Обучение: stage 4 long-context extension, контекст 1 048 576 токенов.
Архитектура: 8,9B параметров, 42 слоя, MoE из 8 экспертов top-2.
Ограничения: Mamba-слои требуют CUDA; численная корректность не гарантирует биологически функциональную генерацию.
Лицензия Apache-2.0; код основан на Nemotron-H, токенизатор — на Evo2 CharLevelTokenizer.