Qwen2.5-Coder-7B-Instruct-GGUF
локальная LLM для генерации и исправления кода
2 min readupdated
Официальная сборка специализированной языковой модели от команды Qwen для программирования в формате GGUF (формат сжатых файлов для быстрого запуска нейросетей на обычных компьютерах и видеокартах через llama.cpp). Она умеет писать новый код, анализировать логику программ и находить в них ошибки, при этом сохраняя сильные навыки в математике и общих задачах. Модель основана на архитектуре Qwen2.5 с 7.61B параметров, обучена на 5.5 триллиона токенов исходного кода и синтетических данных и прошла дообучение для работы в режиме инструкций (Instruct). В отличие от тяжёлых облачных моделей, эта версия оптимизирована для локального запуска с разной степенью квантования (сжатия весов для экономии памяти). Пригодится разработчикам, которым нужен быстрый и приватный ИИ-помощник для написания скриптов, отладки и создания автономных кодовых агентов.
Ключевые особенности
- Построена на базе Qwen2.5-Coder (7.61B параметров) с улучшенными навыками генерации, анализа и исправления кода.
- Доступны готовые варианты квантования от
q2_Kдоq8_0для гибкой настройки под объём доступной памяти. - Поддерживает окно контекста до 32 768 токенов в данной GGUF-сборке.
- Поставляется в удобном формате GGUF для прямого запуска через движок
llama.cpp.
Что можно сделать
- Развернуть локального ассистента программиста через
llama-cliдля диалоговой генерации и рефакторинга кода без отправки данных в облако. - Использовать в качестве базовой модели для локальных Code Agents (автономных агентов, которые сами пишут и проверяют код) и решения математических задач.
- Подобрать оптимальный баланс между скоростью и качеством ответов, выбрав нужный уровень сжатия (например,
q4_K_Mилиq5_K_M) под своё железо.
Пример
./llama-cli -m \
-co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
-fa -ngl 80 -n 512
Подробнее
Архитектура: transformers с RoPE, SwiGLU, RMSNorm и Attention QKV bias (28 слоёв, GQA: 28 голов для Q и 4 для KV).Параметры: всего 7.61B (6.53B без учёта эмбеддингов).
Ограничения контекста: в GGUF поддерживается до 32 768 токенов (расширение до 131 072 токенов через YARN доступно только в не-GGUF версиях для vLLM).
Особенности загрузки: крупные файлы разделены на части (например,
00001-of-00002) и перед запуском требуют склейки утилитой llama-gguf-split.









Comments