SenseNova-Loop-9B-Preview

SenseNova-Loop-9B-Preview — мультимодальная языковая модель от SenseNova для long-context и agentic-сценариев: принимает текст и изображения, генерирует текст. В основе — 32-слойный декодер с общим зацикленным блоком слоёв 4–27, который применяется дважды, и two-stream mHC. Всего около 9 млрд параметров, но на инференсе модель использует ~14,6 млрд.

⚙ Ключевые особенности

• 🔄 Общий зацикленный блок: 24 слоя применяются дважды с общими весами — 56 выполнений слоёв из 32 уникальных.
• 🌐 Гибридное внимание: linear- и full-attention чередуются группами по четыре слоя — три linear и один full.
• 📡 Two-stream mHC: две residual-ветки в зацикленной части, смешивание потоков ограничено Sinkhorn-нормализацией за 20 итераций.
• 🧳 Обучение на последовательностях до 262 144 токенов: текст, изображения, код и траектории работы с инструментами.
• ⚡ MTP уже доступен для ускорения инференса; Dspark и Dflash2 пока в процессе обучения.
• 🛡 Лицензия Apache 2.0.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "sensenova/SenseNova-Loop-9B-Preview"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype=torch.bfloat16, device_map={"": "cuda:0"}
).eval()
# далее: apply_chat_template и model.generate(...)

Подробнее

Бенчмарки: BIRD-Dev, WorkBuddy Bench, AIDABench, TeamBench, Terminal Bench 2.1, T³-Banking, AutomationBench и RaccoonPPTBench — числовые значения приведены только на изображении.
VRAM не указан; проверенная среда — Transformers 5.18.0, PyTorch 2.11.0, CUDA 13.0.
Точность экспорта: BF16 для backbone и FP32 для mHC routing parameters.
MTP доступен, Dspark и Dflash2 ещё обучаются.
Лицензия Apache 2.0.