Qwen3.8-27B-opencode-adapted-GGUF
модель для кода с квантованием под llama.cpp
2 мин чтенияобновлено
Эта модель представляет собой квантованную GGUF-версию файнтюна Qwen/Qwen3.8-27B, оптимизированную для задач программирования и работы в терминале. Она создана путем слияния базовой модели и LoRA-адаптера, обученного с помощью обучения с подкреплением в окружениях Harbor и OpenEnv. Модель поддерживает встроенное предсказание нескольких токенов (MTP — Multi-Token Prediction) для ускорения генерации при локальном запуске. Она пригодится разработчикам и инженерам для запуска локального ИИ-ассистента по коду.
Ключевые особенности
- Готовый GGUF-формат: модели квантованы для запуска через llama.cpp без необходимости подключать отдельные LoRA.
- MTP (Multi-Token Prediction): встроенные головы прогнозирования нескольких токенов ускоряют генерацию без отдельной модели-драфта.
- Различные варианты квантования: доступны версии от компактной Q4 до максимальной Q8.
- Специализация на коде: обучена для решения инженерных задач и работы с терминалом.
Что можно сделать
- Локальный запуск: развернуть модель в приложениях и утилитах, поддерживающих llama.cpp и формат GGUF.
- Разработка ПО: использовать для генерации кода, отладки и автоматизации задач в терминале.
- Мультимодальные задачи: подключить отдельный файл проекции
mmproj-bf16.ggufдля работы с изображениями.
Пример
Скачайте основной файл весов нужного квантования (например, Q4_K_M) и файл проекции mmproj-bf16.gguf, а затем запустите через совместимый движок llama.cpp для работы с кодом.
Подробнее
Бенчмарки адаптера: SWE-bench Pro (hard 51) — 51.0% (против 35.3% у базы), Terminal-Bench 2.1 — 52.4% (против 46.4%).Размер файлов: от 15.8 GB до 29 GB для основных весов и 931 MB для mmproj.
Особенности: содержит встроенные MTP-тензоры для ускорения инференса.










Комментарии