Rebel AI W6A8

Набор квантованных моделей от realrebelai для более экономного inference: 6-битные веса, 8-битные активации и смешанная точность в отдельных слоях. Это не отдельная базовая модель — конкретный исходный чекпойнт в карточке не указан, поэтому совместимость нужно проверять перед запуском.

🧐 Ключевые особенности

• 🤖 W6A8: 6-битные веса и 8-битные активации снижают требования к памяти.
• 🧐 Смешанная точность: некоторые слои могут сохранять более высокую точность.
• 🚀 Для ComfyUI: файлы .safetensors кладутся в ComfyUI/models/diffusion_models/.
• 🫤 Нужен совместимый loader или custom nodes — обычный загрузчик может не подойти.
• 🔙 У автора есть отдельный репозиторий W4A8.

😎 Пример

Скачайте нужный .safetensors, положите его в ComfyUI/models/diffusion_models/ и выберите loader или воркфлоу с поддержкой W6A8. Без совместимого загрузчика модель не запустится корректно.

Подробнее

Бенчмарков в карточке нет.
Нужен совместимый inference-стек: специализированные loaders или custom nodes.
Потребление памяти и скорость зависят от GPU и бэкенда.
Лицензии и ограничения исходных моделей сохраняются; модели предоставлены as-is.
У автора есть отдельный набор W4A8.