python-coder-3b-research-GGUF
квантованные версии для локального запуска
1 мин чтенияобновлено
Набор готовых квантованных файлов (сжатых версий весов) для языковой модели python-coder-3b-research от автора mradermacher. Модель предназначена для помощи в написании и отладке кода на Python. Формат GGUF (формат хранения моделей для эффективного запуска на CPU и GPU) позволяет запускать модель на потребительском железе и ноутбуках с минимальным потреблением ресурсов. Подойдет разработчикам, которым нужен локальный ассистент для программирования без отправки кода на сторонние серверами.
Ключевые особенности
- Формат GGUF: полная совместимость с популярными локальными рантаймами (например, llama.cpp).
- Широкий выбор квантований: от компактных 2-битных до качественных 8-битных и f16 файлов.
- Оптимизация под скорость: варианты вроде Q4_K_M обеспечивают баланс между быстродействием и точностью.
- Легковесность: база модели имеет размер 3 миллиарда параметров, что отлично подходит для слабых ПК.
Что можно сделать
- Запустить локально: развернуть модель в приложениях вроде LM Studio или Ollama для работы оффлайн.
- Писать код на Python: использовать ассистента в среде разработки для генерации функций и скриптов.
- Интегрировать в ботов: подключить веса к собственным скриптам на Python через llama-cpp-python.
Пример
Скачайте нужный файл квантования (например, Q4_K_M) и запустите его через совместимый сервер или клиент для GGUF-моделей, указав путь к файлу весов.
Подробнее
Базовая модель: Noor-Khan/python-coder-3b-researchДоступные размеры файлов: от 1.4 ГБ (Q2_K) до 6.3 ГБ (f16)
Рекомендуемые варианты: Q4_K_M (около 2.0 ГБ) и Q8_0 (около 3.4 ГБ)










Комментарии