LoCo-7B GGUF

Это статические GGUF-кванты модели MuyaoYuan/LoCo-7B, подготовленные mradermacher. Оригинал — 7B-модель; задача в карточке не описана, поэтому ориентируйтесь на базовую модель. Набор предназначен для локального инференса в GGUF-совместимых раннерах.

🔥 Ключевые особенности

• ✅ Готовые статические GGUF-кванты для локального запуска.
• ⬇ Доступны варианты от Q2_K до f16.
• 💥 Q4_K_S и Q4_K_M помечены как быстрые и рекомендуемые.
• 🦾 Q8_0 — быстрый вариант с лучшим качеством; f16 — 16 bpw, избыточен.
• 🌟 Есть отдельная ветка weighted/imatrix квантов.
• ♥ Язык — английский.

😎 Пример

Сценарий: для быстрого локального запуска возьмите LoCo-7B.Q4_K_S.gguf размером 4,6 ГБ и откройте его в GGUF-совместимом раннере. Если нужен максимальный размер, есть f16 на 15,3 ГБ.

Подробнее

Кванты: Q2_K — 3,1 ГБ; Q4_K_S — 4,6 ГБ; Q8_0 — 8,2 ГБ; f16 — 15,3 ГБ.
Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые; Q8_0 — лучший по качеству среди быстрых, f16 — избыточен.
Язык — английский. Бенчмарков и описания задачи в карточке нет.
Отдельно доступны weighted/imatrix кванты.