diffusion-lfm3-1.7b
языковая модель с блочной диффузией
2 min read
Компактная мультиязычная LLM на 1.98B параметров от summerAIO, построенная на гибридной архитектуре LiquidAI/LFM2-1.7B (1D Causal Convolution + Grouped-Query Attention). В отличие от классических авторегрессионных моделей, которые пишут текст строго по одному слову за раз, она генерирует ответ сразу блоками по 16 токенов с помощью итеративного деноизинга (постепенного снятия масок с самых уверенных предсказаний) и умеет корректировать уже намеченные токены внутри блока. Модель дообучена на 7 языках (включая английский, японский, китайский, немецкий и французский) и подойдёт исследователям и разработчикам, которым интересны нестандартные быстрые архитектуры текстовой генерации.
Ключевые особенности
- Block-Causal Diffusion: параллельное предсказание и уточнение блоков длиной 16 токенов с двунаправленным вниманием внутри активного блока.
- Мультиязычность и фокус на японском: обучение на
OpenAssistant/oasst2иCohereForAI/aya_datasetдополнено японскими инструкциями (databricks-dolly-15k-ja,oasst1-21k-ja) с реплеем других языков против забывания. - Span Masking и Low-Mask Annealing: маскирование непрерывных отрезков из 2–3 токенов и снижение доли масок в конце обучения повышают морфологическую точность.
- Потоковая визуализация: поддерживает отображение процесса постепенного заполнения масок внутри блока в реальном времени.
Что можно сделать
- Протестировать неавторегрессионную генерацию текста и сравнить скорость и поведение деноизинга с обычными моделями семейства LFM2.
- Собрать демо-интерфейс со стримингом, где пользователь вживую видит, как замаскированный блок из 16 токенов превращается в осмысленный ответ.
- Использовать в мультиязычных диалоговых прототипах на английском, японском, китайском, корейском, испанском, немецком или французском языках.
Пример
MODEL_ID = "summerAIO/diffusion-lfm3-1.7b"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID, dtype=torch.bfloat16, attn_implementation="sdpa", trust_remote_code=True
).to(device)
# Для инференса F.scaled_dot_product_attention подменяется на Block-Causal маску (BLOCK_SIZE = 16),
# после чего блок из mask_token_id итеративно заполняется по уверенности top-2 логитов.
Подробнее
Архитектура: гибрид 1D Causal Convolution + GQA (базаLiquidAI/LFM2-1.7B, всего 1.98B параметров).Ограничения: стандартный
model.generate() не подходит — требуется патч SDPA и цикл итеративного деноизинга.Языки: ja, en, zh, ko, es, de, fr; лицензия
lfm-open-license-v1.0.









Comments