ClipProj-MiniMax-H3
замена текстового энкодера для MiniMax H3
2 мин чтенияобновлено
Этот инструмент для ComfyUI позволяет заменить тяжелый текстовый энкодер Qwen3-VL-32B модели MiniMax H3 на более компактные версии Qwen3-VL-4B или 8B с помощью специальных матриц проекции. В результате требования к VRAM (видеопамяти) снижаются с 15.7 ГБ до 4.5 ГБ, сохраняя качество работы диффузионной модели. Обновление v3.1 приносит улучшенную многоязычную речь и поддержку новых языков без потери качества генерации.
Ключевые особенности
- Экономия VRAM: снижение потребления видеопамяти с 15.7 ГБ до 4.5 ГБ.
- Улучшенная речь: в версии v3.1 на 29% уменьшено количество ошибок в фонемах на десяти языках.
- Совместимость: работает на базе кастомного нода для ComfyUI без изменения базовой модели.
- Точность: матрицы откалиброваны методом ridge regression (гребневой регрессии) с добавлением MLP-резидуальных сетей.
Что можно сделать
- Генерировать видео: запускать MiniMax H3 локально на видеокартах с меньшим объемом памяти.
- Синтезировать речь: озвучивать видеоролики на разных языках с корректным произношением.
- Использовать мультимодальность: применять компактный Qwen3-VL для промптинга и управления кадрами в ComfyUI.
Пример
Файлы проекций необходимо разместить в папку ComfyUI/models/clip_projections/ и использовать в рабочих процессах с обновленным нодом.
Подробнее
Бенчмарки: косинусное сходство достигает 0.8037 для версии 8B с остаточной сетью.Требования: видеокарта с поддержкой CUDA и ComfyUI (требуется нод версии 0.1.13 или новее).
Файлы: доступны варианты для энкодеров 4B и 8B (включая версии с поддержкой имен знаменитостей -celeb и MLP).














Комментарии