LoCo-7B GGUF
7B-модель в готовых квантизациях
1 min read
Это статические GGUF-кванты модели MuyaoYuan/LoCo-7B, подготовленные mradermacher. Оригинал — 7B-модель; задача в карточке не описана, поэтому ориентируйтесь на базовую модель. Набор предназначен для локального инференса в GGUF-совместимых раннерах.
Ключевые особенности
- Готовые статические GGUF-кванты для локального запуска.
- Доступны варианты от Q2_K до f16.
- Q4_K_S и Q4_K_M помечены как быстрые и рекомендуемые.
- Q8_0 — быстрый вариант с лучшим качеством; f16 — 16 bpw, избыточен.
- Есть отдельная ветка weighted/imatrix квантов.
- Язык — английский.
Пример
Сценарий: для быстрого локального запуска возьмите LoCo-7B.Q4_K_S.gguf размером 4,6 ГБ и откройте его в GGUF-совместимом раннере. Если нужен максимальный размер, есть f16 на 15,3 ГБ.
Подробнее
Кванты: Q2_K — 3,1 ГБ; Q4_K_S — 4,6 ГБ; Q8_0 — 8,2 ГБ; f16 — 15,3 ГБ.Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые; Q8_0 — лучший по качеству среди быстрых, f16 — избыточен.
Язык — английский. Бенчмарков и описания задачи в карточке нет.
Отдельно доступны weighted/imatrix кванты.










Comments