HiveCoder3 i1 GGUF

mradermacher опубликовал weighted/imatrix GGUF-кванты модели HiveCoder3 на базе theailearner/HiveCoder3. Это vision-модель; в репозитории есть варианты от Q2_K до Q6_K, включая IQ-кванты. Формат GGUF рассчитан на локальный запуск.

⚙ Ключевые особенности

• ⚙ imatrix-кванты базовой HiveCoder3 — от i1-Q2_K до i1-Q6_K.
• 📊 Размеры: i1-Q2_K ~11.0 GB, i1-Q4_K_M ~16.9 GB, i1-Q6_K ~22.5 GB.
• 💻 Рекомендации: i1-Q4_K_M помечен как fast, recommended; i1-Q4_K_S — optimal size/speed/quality.
• 🔍 IQ-варианты: IQ1_M, IQ2_XXS/…, IQ3_XXS/…, IQ4_XS — на выбор под память и качество.
• 🖥 Vision-режим: mmproj-файлы, если они есть, лежат в static-репозитории.

📌 Пример

Под доступную память выбирайте квант: i1-Q4_K_M (~16.9 GB) — компромисс скорости и качества по пометке автора, i1-Q2_K (~11.0 GB) — самый компактный вариант в списке. Для vision-задач проверьте наличие mmproj в static-репозитории.

Подробнее

Бенчмарков в карточке нет.
Размеры квантов: 11.0–22.5 GB; i1-Q4_K_M — 16.9 GB.
Для vision-режима mmproj ищите в static-репозитории; imatrix-файл — 0.1 GB.
Это кванты готовой модели, а не новая тренировка.