Qwen3.5-0.8B-abliterated-diffusion

OpceanAI выложили исследовательский артефакт: веса Qwen3.5-0.8B-abliterated больше не генерируют слева направо, а работают через итеративный параллельный unmasking. Архитектура Qwen3.5 гибридная: 18 слоёв Gated DeltaNet и 6 слоёв full-attention. Это не готовый ассистент, а демонстрация конвертации и замер компромисса.

✨ Ключевые особенности

• 💻 Это не обычный AutoModelForCausalLM: сначала нужно применить патч из dqwen.
• ⭐ rev_gate инициализирован нулём, поэтому шаг 0 бит-в-бит совпадает с базовой моделью; в этом чекпоинте 18 гейтов выучили среднюю величину 0.05–0.075, то есть ~6% обратного пути.
• 🔥 Full attention без causal mask; DeltaNet — forward scan + gated reverse scan.
• 📓 [MASK] — <|fim_pad|> (id 248063) с обучаемым эмбеддингом; loss — masked-token cross-entropy с 1/t ELBO-взвешиванием.
• ✅ Декодирование block-wise confidence unmasking: 16 шагов выдают 128 токенов со скоростью 218.9 tok/s против 27.3 tok/s у AR с KV cache на том же H200.
• ❌ Обучение всего ~55 минут на 65 млн токенов: модель повторяет слова, зацикливается и теряет нить.

📓 Пример

import sys
from huggingface_hub import snapshot_download
path = snapshot_download('OpceanAI/Qwen3.5-0.8B-abliterated-diffusion')
sys.path.insert(0, path)
from dqwen.hub import load_pretrained, generate
dlm, tok = load_pretrained(path)
print(generate(dlm, tok, 'Explain why the sky is blue.', gen_len=96, thr=0.9))

Подробнее

MMLU generative (n=200): AR abliterated 42.0% → diffusion 45.5% (+3.5 п.п.; SE ~3.1 п.п., то есть в пределах шума).
GSM8K (n=50): 21.0% → 4.0% (−17 п.п.): знания сохранились, многошаговое рассуждение — нет.
Скорость на одном H200: 128 токенов за 0.58 с при 16 шагах (218.9 tok/s); 32 шага — 124.2 tok/s; 64 шага — 61.7 tok/s.
Сравнение скорости — между двумя реализациями на одной машине: AR-путь DeltaNet пока использует reference PyTorch kernels.
Ограничения: нет KV cache, только текст (vision tower удалён), качество ниже базовой модели; 65 млн токенов — очень мало.