dalle-mini-js
генерация картинок прямо в браузере
2 min readupdated
Набор весов модели DALL·E Mini и её декодера VQGAN в формате fp16 safetensors, адаптированный для запуска локально в браузере через WebGPU (стандарт для доступа к видеокарте из веб-приложений). Репозиторий подготовлен для веб-проекта dalle-js, работающего на базе библиотеки jax-js. В отличие от оригинальных чекпоинтов на Flax или PyTorch, здесь веса упакованы в лёгкий формат для фронтенда и дополнены специальными файлами для мгновенного предпросмотра генерации. Пригодится веб-разработчикам, которые хотят встроить генерацию изображений 256×256 без бэкенда и облачных API.
Ключевые особенности
- Текстовый энкодер и декодер изображений на базе архитектуры BART по 12 слоёв (размерность 1024, словарь на 16 384 визуальных токена).
- Декодер VQGAN переводит сетку из 16×16 токенов в итоговое изображение разрешением 256×256 пикселей.
- В комплект добавлены
preview_head.safetensorsиtoken_colors.binдля быстрого отрисовывания превью 16×16 в процессе работы. - Оригинальные веса взяты из DALL·E Mini (Boris Dayma et al.) и VQGAN через упаковку min-dalle, при этом названия и структура тензоров PyTorch сохранены.
Что можно сделать
- Развернуть генератор картинок по текстовому описанию, который работает полностью на стороне клиента без отправки запросов на сервер.
- Встроить локальную генерацию небольших иллюстраций, иконок или текстур 256×256 прямо в браузерные игры и веб-сервисы на базе jax-js.
- Использовать готовые таблицы цветов токенов (
token_colors.bin) для визуализации процесса пошаговой генерации изображения в реальном времени.
Пример
Веса используются в веб-приложении dalle-js: пользователь вводит текстовый запрос в браузере, BPE-токенизатор (vocab.json, merges.txt) кодирует текст, модель предсказывает 256 визуальных токенов, а VQGAN-декодер преобразует их в картинку 256×256 с промежуточным превью 16×16.
Подробнее
Лицензия оригинальных весов DALL·E Mini: Apache-2.0.Декодер VQGAN (
detoker.f16.safetensors) рекомендуется запускать в float32, при конвертации его веса были округлены из fp32.Для совместимости с PyTorch недостающие веса LayerNorm (из-за
use_scale=False в Flax) заполнены единицами.







Comments