Rebel AI W6A8
6-битные веса и 8-битные активации для text-to-image
1 min read
Набор квантованных моделей от realrebelai для более экономного inference: 6-битные веса, 8-битные активации и смешанная точность в отдельных слоях. Это не отдельная базовая модель — конкретный исходный чекпойнт в карточке не указан, поэтому совместимость нужно проверять перед запуском.
Ключевые особенности
- W6A8: 6-битные веса и 8-битные активации снижают требования к памяти.
- Смешанная точность: некоторые слои могут сохранять более высокую точность.
- Для ComfyUI: файлы
.safetensorsкладутся вComfyUI/models/diffusion_models/. - Нужен совместимый loader или custom nodes — обычный загрузчик может не подойти.
- У автора есть отдельный репозиторий W4A8.
Пример
Скачайте нужный .safetensors, положите его в ComfyUI/models/diffusion_models/ и выберите loader или воркфлоу с поддержкой W6A8. Без совместимого загрузчика модель не запустится корректно.
Подробнее
Бенчмарков в карточке нет.Нужен совместимый inference-стек: специализированные loaders или custom nodes.
Потребление памяти и скорость зависят от GPU и бэкенда.
Лицензии и ограничения исходных моделей сохраняются; модели предоставлены as-is.
У автора есть отдельный набор W4A8.










Comments