Chochmah-1B-Diffusion
языковая модель на блочной диффузии вместо авторегрессии
2 min readupdated
Эта модель продолжает английский текст, но работает не как привычные авторегрессионные LLM (предсказывающие по одному токену строго слева направо), а по принципу блочной дискретной диффузии (BD3-LM — генерация кусками по 8 токенов, где модель сначала видит весь замаскированный блок и заполняет позиции в порядке своей уверенности). В основе лежит обученная с нуля базовая модель Chochmah-1B (1,18 млрд параметров, архитектура блока Qwen3, но без весов и токенизатора Qwen) от TevunahAi, переведённая в диффузионный режим на одной видеокарте. От базы она отличается снятой каузальной маской и добавленным токеном маскировки, благодаря чему внутри блока при выборе слова модель уже видит соседей справа. Пригодится исследователям и разработчикам, которые изучают диффузионные языковые модели, сэмплеры или ищут открытую базу для будущего instruct-дообучения.
Ключевые особенности
- Блочная генерация по 8 токенов: блоки идут слева направо, но внутри каждого блока модель сама решает, какие позиции размаскировать первыми.
- Полностью открытый пайплайн с нуля: база обучена на 45 млрд токенов и дообучена на 3 млрд токенов под диффузию (BD3-LM) без использования чужих весов.
- Честная скорость без чудес: связный текст получается при фиксации 1 токена за проход (~52–55 tok/s на RTX 5000 Ada), что по числу проходов равно авторегрессии; при 2–4 токенах за шаг текст распадается.
- Собственный код инференса: модель загружается через
AutoModelForMaskedLMсtrust_remote_code=Trueи использует методdiffusion_generate.
Что можно сделать
- Исследовать диффузионное декодирование: тестировать разные стратегии выбора порядка токенов (
order="confidence"или"random"), температуру и собственные сэмплеры на базе логитов модели. - Сделать instruct-версию: использовать чекпоинт как открытую стартовую базу для SFT-дообучения на диалогах и инструкциях (сейчас модель умеет только продолжать текст).
Пример
import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
model_id = "TevunahAi/Chochmah-1B-Diffusion"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda").eval()
ids = tok("The court held that", add_special_tokens=False, return_tensors="pt").input_ids[0].to("cuda")
new = model.diffusion_generate(ids, max_new_tokens=64, temperature=0.7, seed=0)
print(tok.decode(new))
Подробнее
Контекст: 4 096 токенов от базовой модели (диффузионное дообучение шло на окнах по 2 048 токенов), вес релиза — 2,4 ГБ в bf16 (лицензия Apache-2.0).Железо и обучение: полнопараметрическое дообучение за 174,1 часа на 1x NVIDIA RTX 5000 Ada 32 GB (пик памяти 22,3 ГБ при обучении).
Ограничения: несовместима с vLLM, llama.cpp / GGUF, TGI и стандартным
model.generate(); это базовая модель на английском языке без чат-обучения и официальных бенчмарков.









Comments