Clover-35B-A3B-Preview

Clover-35B-A3B-Preview — первая модель DiffuSpace: text-only диффузионная языковая модель на базе Qwen3.6-35B-A3B. Архитектура MoE: 35B параметров, около 3B активных на токен, гибридный Gated DeltaNet / full-attention, 40 слоёв, 256 routed experts, top-8 и один shared expert на слой.

⚡ Ключевые особенности

• 🌐 Контекст до 128K: 131 072 токена на prompt и ответ вместе.
• ⚡ Блочная диффузионная генерация с LowConfidence decoding: по умолчанию block_size=32 и threshold=0.95; уверенные позиции заполняются параллельно.
• 🧭 Bidirectional block attention: дополнительные learned GDN-параметры позволяют токенам внутри шумного блока учитывать соседей, сохраняя causal prefix.
• 🔍 Выбор экспертов на уровне блока: moe_block_coreset_enabled=true, moe_block_coreset_top_p=0.9 — порог по агрегированной routing-массе, а не по числу экспертов.
• 🛡 Готовые generation controls против повторов и для мягкого завершения ответа/thinking; работают и при greedy decoding.
• 💻 HF-реализация — standalone PyTorch; для serving и evaluation рекомендуют официальную SGLang-реализацию.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Diffuspace/Clover-35B-A3B-Preview"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True,
    dtype=torch.bfloat16, device_map="cuda:0"
).eval()

Подробнее

Заявлен SOTA среди открытых diffusion LM на бенчмарках из launch blog; конкретные цифры — в блоге.
BF16-веса — около 69 GB плюс состояние инференса, нужен GPU с запасом.
Лимит 128K общий для prompt и ответа; запросы сверх лимита отклоняются.
HF-путь может давать небольшие числовые отличия от SGLang даже при тех же настройках декодирования.