DLFM BlockTune
диффузионная LLM с честными минусами
2 мин чтенияобновлено
Экспериментальный чекпоинт для генерации текста блоками, а не привычным авторегрессионным способом. Основа — гибридная convolution/attention MoE-модель LFM2.5-24B-A2B от LiquidAI, к которой добавили rank-8 LoRA в слои внимания и сразу merged в полный BF16-чекпоинт. На выходе — не отдельный адаптер, а готовые веса: можно скачать репозиторий и запускать встроенный block-diffusion сэмплер через inference.py. Автор честно предупреждает: это research preview, а не production-модель для кода — merge не прошёл заявленный порог, а самый быстрый режим часто выдаёт неверные ответы. Пригодится тем, кто исследует diffusion-LLM, best-of-N и компромисс между скоростью и качеством.
Ключевые особенности
- 24B-A2B на базе LFM2.5-24B-A2B: гибридная convolution/attention MoE-архитектура.
- Rank-8 LoRA (alpha 16) во всех 10 слоях внимания уже влита в BF16-веса; отдельно применять адаптер не нужно.
- Block-diffusion сэмплер: causal prefix, bidirectional canvas, best-of-N и контроль повторов.
- BF16-merge не достиг порога: top-1 agreement 82.81–96.88% при требуемых 98%.
- Нет пресета, который одновременно прошёл бы quality gate и дал 1 000 token/s; это не production-модель.
Что можно сделать
- Запустить
inference.pyс пресетомbalancedна небольших Python-задачах и посмотреть на реальные ответы. - Воспроизвести замеры: block32/16 steps/top-k20/best-of4 против throughput-пресета block1024/1 step/top-k50.
- Поэкспериментировать с best-of-N и repetition controls, чтобы увидеть, как меняются скорость и связность.
- Проверить границы применимости: быстрый режим полезен как диагностика пропускной способности, но не как генератор кода.
Пример
hf download summerAIO/diffusion-lfm2.5-24b-a2b-blocktune --local-dir ./dlfm-blocktune
cd dlfm-blocktune
uv run --python 3.11 --locked python inference.py --model . --preset balanced --prompt 'Write only Python code defining add(a,b) that returns their sum. No explanation.'
Подробнее
На 32 code-блоках адаптация подняла token accuracy с 6.15% до 8.69%, но exact match остался 0/32 — и это до merge.Throughput-пресет: 8 623 token/s при 1/18 правильных; balanced: 17.89 token/s и 13/18.
BF16-merge: top-1 agreement 82.81–96.88% при пороге 98%; нужен GPU 80 GB, вес ~47.94 GB.
Лицензия LFM Open License v1.0 с коммерческим порогом $10 млн годовой выручки.










Комментарии