Qwen2.5-Coder-32B-Instruct-Uncensored-Q8_0-GGUF
квантованная модель для программирования
1 мин чтенияобновлено
Модель представляет собой конвертацию uncensored-версии мощной языковой модели Qwen2.5-Coder-32B в формат GGUF (формат для эффективного запуска больших языковых моделей на потребительском железе) с квантованием Q8_0. Она специализируется на написании кода, отладке и решении технических задач без жестких цензурных ограничений. Такая модель подходит разработчикам, которым требуется локальный интеллектуальный помощник для работы с кодом прямо на персональном компьютере или сервере.
Ключевые особенности
- Базируется на uncensored-версии Qwen2.5-Coder-32B
- Сохранена высокая точность благодаря квантованию Q8_0
- Оптимизирована для работы через утилиты llama.cpp
- Поддерживает запуск в режиме CLI и локального сервера
Что можно сделать
- Запустить локальный сервер для генерации и автодополнения кода
- Использовать утилиту командной строки для быстрого решения задач программирования
- Интегрировать модель в локальные среды разработки и поддерживающие GGUF клиенты
Пример
llama-cli --hf-repo ymarpro/Qwen2.5-Coder-32B-Instruct-Uncensored-Q8_0-GGUF --hf-file qwen2.5-coder-32b-instruct-uncensored-q8_0.gguf -p "The meaning to life and the universe is"Подробнее
Формат: GGUF (квантование Q8_0)Инструменты запуска: llama.cpp (CLI и Server)
Базовая модель: thirdeyeai/Qwen2.5-Coder-32B-Instruct-Uncensored










Комментарии