MiniMax-H3-Prompt-Rewriter-Qwen3.5-9B-Ref2VA-Q3_K_M-GGUF
локальный переписчик промптов в формате GGUF
1 мин чтенияобновлено
Это GGUF-сборка (формат для локального запуска моделей на процессоре и видеокарте) модели lightx2v/MiniMax-H3-Prompt-Rewriter-Qwen3.5-9B-Ref2VA, сконвертированная пользователем Bakanayatsu через llama.cpp. Оригинальная модель создана для переписывания и улучшения промптов (судя по названию, для задач Ref2VA в линейке MiniMax-H3 на базе 9-миллиардной Qwen3.5). Квантизация Q3_K_M (сжатие весов до 3 бит) заметно снижает требования к памяти по сравнению с полноразмерным чекпоинтом. Подойдёт тем, кто хочет крутить генератор и улучшатель промптов локально без мощного серверного железа.
Ключевые особенности
- Квантизация Q3_K_M — компактный 3-битный вариант модели на 9B параметров для запуска на обычных ПК.
- Формат GGUF с нативной поддержкой
llama.cpp,llama-cliиllama-server. - Прямая загрузка из репозитория Hugging Face флагами
--hf-repoи--hf-fileбез ручного скачивания. - Сконвертирована через официальный инструмент
GGUF-my-repoот ggml.ai.
Что можно сделать
- Поднять локальный API-сервер через
llama-serverи подключить его как этап автоматического улучшения промптов в пайплайнах генерации. - Использовать в консольном режиме через
llama-cliдля быстрой доработки текстовых запросов в офлайне.
Пример
llama-cli --hf-repo Bakanayatsu/MiniMax-H3-Prompt-Rewriter-Qwen3.5-9B-Ref2VA-Q3_K_M-GGUF \
--hf-file minimax-h3-prompt-rewriter-qwen3.5-9b-ref2va-q3_k_m.gguf \
-p "The meaning to life and the universe is"Подробнее
Базовая модель:lightx2v/MiniMax-H3-Prompt-Rewriter-Qwen3.5-9B-Ref2VA.Формат и квантизация: GGUF, Q3_K_M (конвертация через llama.cpp / GGUF-my-repo).
Подробное описание архитектуры, бенчмарки и системные промпты находятся в карточке оригинальной модели.














Комментарии