vectabass-1.73b-140bt-mdlm-cooled

Это masked diffusion language model (MDLM) от VectaBass на 1,73 млрд параметров (1,6 млрд без эмбеддингов), обученная с нуля на 139,68 млрд токенов. Одна ячейка исследования масштабирования: линейка MDLM от 100M до 1.6B non-embedding参数 с разными бюджетами токенов. Базовая модель, без instruction tuning и safety tuning.

⚙ Ключевые особенности

• 🧬 Архитектура: Llama-подобный стек с двунаправленным вниманием и exclusive self-attention (XSA), 22 слоя, ширина 2560, GQA 2:1.
• 🔬 Обучение: objective MDLM с линейной alpha_t = 1 - t и continuous-time negative ELBO; 139,68B токенов.
• 🌐 Языки: в основном английский, также валлийский, шотландский гэльский, ирландский, мэнский, корнуоллский и скотс.
• ⚡ Генерация: diffusion_generate заполняет маски за steps проходов; рекомендуемый режим — confidence, argmax, presence_penalty=4.0, один токен за шаг.
• 🛑 Ограничения: не ассистент, факты часто неверны, текст менее беглый, чем у AR-модели того же размера; контекст 2048 токенов.

💡 Пример

import torch
from transformers import AutoModel, AutoTokenizer

tok = AutoTokenizer.from_pretrained("VectaBass/vectabass-1.73b-140bt-mdlm-cooled")
model = AutoModel.from_pretrained("VectaBass/vectabass-1.73b-140bt-mdlm-cooled", trust_remote_code=True, dtype=torch.bfloat16).cuda()
ids = tok("The Senedd is", return_tensors="pt")["input_ids"]
out = model.diffusion_generate(ids, order='confidence', argmax=True, presence_penalty=4.0, t_start=0.0, schedule='linear', ban_eot=True, gen_length=256, steps=256, seed=0)
print(tok.decode(out[0]))

Подробнее

Negative ELBO на held-out canon: 2.1718 ± 0.0027 nats/token.
Обучение: 3 × NVIDIA GH200 120GB, bf16, Muon + AdamW.
Zero-shot бенчмарки для MDLM не измерялись.
Без safety tuning и фильтрации выходов.