Cola2

ByteDance-Seed выпустила Cola2 — base-модель для генерации текста на 8.77B параметров. Она объединяет dynamic-compression VAE, block-causal Diffusion Transformer (DiT) и span-causal token decoder с latent feedback: текст динамически сжимается в непрерывные латенты, а затем снова разворачивается в дискретные токены.

🤩 Ключевые особенности

• 🧘 Динамическое семантическое сжатие: текст группируется в span’ы, каждый представляется компактным непрерывным latent.
• 🔥 Латентные блоки генерирует block-causal DiT, а span-causal decoder переводит их в дискретные токены.
• ✅ На инференсе модель повторно кодирует уже сгенерированный текст при фиксированной разметке span’ов, чтобы непрерывная и дискретная истории оставались согласованными.
• 📉 Чекпойнт обучен всего на 346.03B исходных токенов — заметно меньше, чем у многих 7–8B моделей.
• 🤫 Это base-модель, а не instruction-tuned чат-ассистент; для запуска нужен trust_remote_code=True.

✅ Пример

from transformers import AutoModel, AutoTokenizer
import torch
model_id = "ByteDance-Seed/Cola2"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModel.from_pretrained(model_id, trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda").eval()
inputs = tok("Question: What is the capital of France? Answer:", return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=32)
print(tok.decode(out[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

В статье заявлено 60.10 среднего балла на восьми задачах; на HellaSwag — 41.75 против 39.21 у Llama-3-8B, на StoryCloze — 80.42 против 79.49, при более чем 43× меньшем числе токенов предобучения.
Латентный DiT ещё не сошёлся, а генерация латентов стохастична — результаты отдельных запусков могут отличаться.
Нужны Python 3.10+, PyTorch 2.2+, Transformers 4.51–4.x, safetensors 0.4+; рекомендуется CUDA с bfloat16. Точный объём VRAM в карточке не указан.
Это base-модель, не чат-ассистент; код обучения в релиз не включён.