OrdoPy-Coder-0.5B-GGUF
локальные кванты компактной модели для кода
2 мин чтенияобновлено
Автор mradermacher выложил статические квантованные версии (GGUF) модели layer8labs8/OrdoPy-Coder-0.5B. Это сверхлёгкая модель для генерации и работы с кодом размером около 0,5 млрд параметров, сжатая в разные уровни точности для локального запуска на обычных ПК и ноутбуках без мощных видеокарт. В релизе собрано 12 вариантов — от экстремально сжатых 0,4 ГБ до почти нетронутого f16 на 1,1 ГБ. Подойдёт разработчикам, которым нужен быстрый локальный автокомплит или ассистент для простых скриптов при минимальном расходе памяти.
Ключевые особенности
- 12 статических GGUF-файлов в одном репозитории: от
Q2_KиQ3_K_SдоQ8_0иf16. - Рекомендуемые для баланса скорости и качества версии
Q4_K_SиQ4_K_Mзанимают всего 0,5 ГБ. - Варианты
Q6_KиQ8_0весят по 0,6 ГБ и сохраняют максимальную точность при высокой скорости работы. - В подборке есть
IQ4_XS(0,5 ГБ) — формат, который обычно точнее стандартных квантов сопоставимого размера.
Что можно сделать
- Подключить
Q4_K_MилиQ8_0в локальных клиентах вроде llama.cpp, LM Studio или Ollama для быстрого автодополнения и генерации кода. - Запускать на слабых ноутбуках, одноплатниках или в фоне параллельно с IDE, не занимая много оперативной памяти и VRAM.
- Сравнить качество генерации между ультралёгким
Q3_K_S(0,4 ГБ) и почти полнымQ8_0(0,6 ГБ) на своих задачах.
Пример
В карточке нет готового сниппета кода — выберите подходящий файл из таблицы квантов (например, OrdoPy-Coder-0.5B.Q4_K_M.gguf или OrdoPy-Coder-0.5B.Q8_0.gguf) и загрузите его в любой инструмент с поддержкой формата GGUF (llama.cpp, LM Studio и аналоги).
Подробнее
Базовая модель: layer8labs8/OrdoPy-Coder-0.5B (язык: en)Размер файлов: от 0,4 ГБ (Q2_K, Q3_K_S) до 1,1 ГБ (f16)
Ограничения: доступны только статические кванты, версии weighted/imatrix на момент публикации отсутствуют
Метрики и бенчмарки в карточке не приведены










Комментарии