Modilify Mk2 MLX
диффузионная текстовая модель 26B для Mac
2 min readupdated
Modilify Mk2 MLX — автономный релиз текстовой нейросети Modilify Mk2 (чекпоинт step 4400), адаптированный для локального запуска на чипах Apple Silicon через фреймворк MLX. В основе лежит архитектура DiffusionGemma 26B-A4B (разреженная модель с 25,9 млрд параметров), которая вместо привычной пословной генерации обновляет скользящее окно на 256 токенов и фиксирует фрагменты текста по шагам денойзинга (постепенного очищения от шума). В отличие от стандартных LLM, модель использует разделённую рабочую и постоянную память GDN2, умеет рассуждать перед ответом и полностью работает офлайн после установки зависимостей. Подойдёт владельцам мощных Mac и исследователям, которым интересны нестандартные диффузионные архитектуры для генерации текста.
Ключевые особенности
- Диффузионная генерация: редактирует полотно длиной 256 токенов и коммитит префикс при достижении заданного порога уверенности и энтропии.
- Двухуровневая память GDN2: рабочая память отслеживает текущие правки окна, а постоянная обновляется при финальной фиксации токенов.
- Нативная оптимизация под MLX: использует Metal на Apple Silicon, вычисляя вероятности роутера и агрегацию экспертов в FP32 для точности, а остальной граф — в BF16.
- Режим размышлений и стриминг: поддерживает thinking-промпты (отключаются флагом
--no-thinking) и потоковый вывод текста по мере фиксации токенов.
Что можно сделать
- Запустить полностью локальный офлайн-ассистент в терминале или Python-скрипте на Mac без обращения к облачным API.
- Протестировать качество и скорость диффузионного подхода (DiffusionGemma 26B-A4B) в сравнении с классическими авторегрессионными LLM.
- Встроить генерацию с воспроизводимым результатом (через параметр
seed) в исследовательские пайплайны на базе MLX.
Пример
from modilify_mk2_mlx import load
model = load()
result = model.generate(
[{"role": "user", "content": "Explain how rainbows form."}],
enable_thinking=False,
max_new_tokens=256,
seed=42,
)
print(result.text)
Подробнее
Архитектура: schema25 compact_gdn2_v2 (DiffusionGemma 26B-A4B, 25.9B параметров).Веса и формат: 16 шардов Safetensors общим объёмом около 48.23 GiB (1297 тензоров BF16 и 26 FP32).
Железо и требования: Apple Silicon (MLX Metal), Python 3.12 и достаточный объём унифицированной памяти (Unified Memory) под веса, кэш промпта и рабочее окно.
Ограничения: по умолчанию лимиты
max_new_tokens и max_denoising_steps равны 256 — при достижении любого из них ответ может оборваться; лицензия только для некоммерческих исследований.









Comments