Qwen3.8-27b-Terse-Coder-Basalt
компактная версия Qwen3.8-27B для быстрого кодинга
2 мин чтенияобновлено
Готовый пакет модели Qwen3.8-27B от автора Shockem, дообученной для программирования и упакованной в формат Basalt (файловый формат для локального запуска квантованных моделей). Главная фишка версии Terse-Coder — сокращение цепочки рассуждений (chain-of-thought) примерно в десять раз при сохранении точности ответов. Модель основана на базе Qwen/Qwen3.8-27B со влитым адаптером Terse-Coder и квантована в смешанной точности (NVFP4 и FP8), благодаря чему файл весит 21.6 ГБ. Подойдёт разработчикам, которым нужна локальная модель на 27 млрд параметров, не тратящая лишние токены и время на длинные размышления перед выдачей кода.
Ключевые особенности
- Краткие рассуждения: тратит примерно в 10 раз меньше токенов на chain-of-thought в задачах программирования без потери правильности решения.
- Смешанное квантование (21.6 ГБ): слои MLP и выходной слой сжаты в NVFP4, проекции внимания и GDN — в FP8 E4M3, а эмбеддинги оставлены в BF16.
- Поддержка зрения и длинного контекста: в пакет включён vision projector, а в тестах модель проверялась на контексте 131072 токена с KV-кэшем в int8.
- Работа с инструментами: прошла внутренний набор тестов (15/15 за 64 секунды) на следование инструкциям, JSON, вызов тулов и написание кода.
Что можно сделать
- Локальный ассистент программиста: подключить к IDE или агентскому пайплайну (для агентского режима автор рекомендует шаблон
Shockem/froggeric-terse-coder) для быстрой генерации кода с минимальным расходом токенов. - Запуск на двух видеокартах среднего объёма: развернуть на связке из двух GPU по 16 ГБ VRAM (в карточке приведён замер на двух RTX 5060 Ti 16 GB с разделением слоёв).
- Автоматизация и вызов функций: использовать в локальных скриптах, где требуется строгий вывод JSON, работа с инструментами и контекст до 128k токенов.
Пример
basalt serve Qwen3.8-27B-Terse-Coder-NVFP4.basalt --spec 0 --kv int8
Подробнее
Метрики исходного чекпоинта на vLLM (в формате Basalt повторно не замерялись): HE+ 91.5, MBPP+ 79.4, GSM8K 98.5, GPQA 79.8.Замеры скорости на Basalt 0.4.1 (2× RTX 5060 Ti 16 GB, контекст 131072, int8 KV): prefill — 3491–5373 tok/s (в зависимости от длины от 512 до 64k), генерация — 22.1 tok/s.
Ограничение: при разделении слоёв на две карты необходимо передавать флаг
--spec 0 (при spec >= 2 встроенный FP8 MTP-драфтер падает с ошибкой памяти на первом токене).Рекомендуемые параметры сэмплирования (вшиты в пакет): temperature 0.6, top_p 0.95, top_k 20. Лицензия: Apache 2.0.










Комментарии