MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-FL2VA-heretic-GGUF
квантованные веса для локального запуска
2 мин чтения
Этот репозиторий содержит готовые статические квантования (сжатые веса) модели MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-FL2VA-heretic в формате GGUF (формат для эффективного запуска LLM на потребительском железе). Модель основана на архитектуре Qwen (размером 27 миллиардов параметров) и оптимизирована для переписывания и улучшения промптов (запросов). Она поддерживает работу с мультимодальными данными благодаря наличию специальных mmproj-файлов. Подойтёт разработчикам и энтузиастам, которые хотят запускать крупные языковые модели локально с помощью таких утилит, как llama.cpp.
Ключевые особенности
- Широкий выбор квантований: от компактных Q2_K и Q3_K до качественных Q6_K и Q8_0, а также формат IQ4_XS.
- Мультимодальная поддержка: в комплекте идут файлы mmproj (версии Q8_0 и f16) для работы с изображениями.
- Оптимизация под скорость и качество: доступны рекомендованные быстрые варианты вроде Q4_K_M и Q4_K_S.
- Формат GGUF: полная совместимость с популярными локальными клиентами и фреймворками для инференса.
Что можно сделать
- Запустить модель локально на своём ПК или сервере с помощью llama.cpp или совместимого софта, подобрав квантование под объём VRAM и RAM.
- Использовать модель для автоматического улучшения, детализации и переписывания текстовых промптов.
- Задействовать мультимодальные возможности за счёт подключения прилагаемых mmproj-компонентов.
- Настроить пайплайны генерации запросов с разным уровнем сжатия весов для экономии ресурсов.
Пример
Для запуска GGUF-моделей и работы с мультимодальными компонентами используйте инструменты вроде llama.cpp, указав путь к файлу весов нужного квантования и соответствующему mmproj-файлу для обработки изображений.
Подробнее
Базовая модель: LeViAtHaN2K/MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-FL2VA-hereticДоступные квантования: Q2_K (11.2 ГБ), Q4_K_M (16.8 ГБ), Q6_K (22.2 ГБ), Q8_0 (28.7 ГБ) и др.
Мультимодальные дополнения: mmproj-Q8_0 (0.7 ГБ) и mmproj-f16 (1.0 ГБ)
Автор квантования: mradermacher














Комментарии