Industry-Coder-27B-v3.0 GGUF

mradermacher выложил статические GGUF-кванты модели kataguru/Industry-Coder-27B-v3.0. Это 27B-модель; в репозитории есть варианты от Q2_K до Q8_0 и mmproj-файлы для мультимодального режима. Готовых бенчмарков и описания обучения в карточке нет.

👍 Ключевые особенности

• 📝 Статические кванты: Q2_K, Q3_K_S/M/L, Q4_K_S/M, Q5_K_S, Q6_K, Q8_0.
• 👌 Q4_K_S и Q4_K_M помечены как быстрые и рекомендованные; Q8_0 — лучший по качеству.
• 🤓 Есть mmproj-Q8_0 и mmproj-f16 — мультимодальные дополнения.
• 🗣 В метаданных указаны языки: en, fi, et, hu, tr.
• 🙃 Взвешенных/imatrix-квантов от автора пока нет; можно запросить в Community Discussion.

📝 Пример

Для локального запуска начните с Q4_K_M (~16.9 GB): это компромисс скорости и качества. Если нужен максимальный quality — Q8_0 (~29.1 GB). Для мультимодальности добавьте соответствующий mmproj.

Подробнее

Бенчмарков в карточке нет.
Размеры файлов: Q4_K_S — 15.9 GB, Q4_K_M — 16.9 GB, Q8_0 — 29.1 GB.
mmproj: 0.7 GB (Q8_0) или 1.0 GB (f16).
Ограничение: карточка почти не описывает базовую модель и её обучение.