Qwen3.8-27B-Coder390-EfficientThink
быстрый мультимодальный кодер без лишней «воды» в рассуждениях
3 мин чтенияобновлено
Мультимодальная языковая модель (работает с текстом, изображениями и видео) на базе Qwen3.8-27B от автора nerkyor, дообученная с упором на программирование и лаконичные рассуждения. Оригинальная Qwen3.8-27B страдает от привычки зацикливаться: уже получив ответ, она продолжает перепроверять себя, пока не упрётся в лимит генерации 94K токенов без итогового результата. Чтобы исправить это, модель прошла несколько раундов SFT и RLOO (метод обучения с подкреплением, где длинные верные рассуждения поощряются, а затянутые ошибочные штрафуются) на траекториях от Opus5.5, GPT6Astra, DSV4Pro и K3. Модель подойдёт разработчикам и исследователям, которым нужен сильный локальный кодер и VLM с предсказуемой длиной генерации.
Ключевые особенности
- Меньше обрывов на 94K токенах: количество упёршихся в лимит генераций снизилось с 4 до 1 на GPQA и с 13 до 3 на LCB (для static FP8) по сравнению с базовой Qwen3.8-27B.
- Рост качества без просадок: в static FP8 модель набирает 178/198 на GPQA, 450/500 на MMLU и 90/100 на LCB против 177 / 444 / 83 у оригинала.
- Спекулятивное декодирование до 180 tok/s: поддерживаются два взаимоисключающих режима ускорения — DFlash2 (около 180 tok/s на запрос) и встроенная голова MTP (91 tok/s) против ~46 tok/s без спекуляции.
- Богатый выбор форматов и квантований: в репозитории доступны BF16, static FP8 Block128, NVFP4 (W4A16, W4A4, W4A4-W8A8), INT4, INT8, а также сборки GGUF (Q2, Q3, Q4, Q6_K, Q8_0) и NInfer.
Что можно сделать
- Встроить в пайплайн разработки кода: развернуть версию BF16, FP8 или NVFP4 в SGLang (или FP8 / INT4 в vLLM) для генерации и отладки сложных алгоритмов без риска получить пустой ответ из-за бесконечного цикла размышлений.
- Запустить локальный мультимодальный ассистент: использовать полные safetensors-сборки (текст + изображения + видео) или INT4/INT8 W8A16 (текст + изображения) для анализа скриншотов интерфейсов, графиков и документации.
- Ускорить инференс на одиночных запросах: подключить черновую модель DFlash2 или встроенную BF16 MTP-голову в SGLang, чтобы поднять скорость генерации с 46 до 91–180 tok/s.
Пример
В карточке приведён протокол запуска и оценки качества в SGLang: используется контекст 100K, лимит генерации 94 208 токенов, черновая модель DFlash2 для спекулятивного декодирования и веса в форматах BF16, Static FP8 или NVFP4 (например, NVFP4 W4A4 или Static FP8 Block128) без необходимости пропатчивать движок.
Подробнее
Бенчмарки (Static FP8): GPQA 178/198 (медиана рассуждений 2 966 токенов против 5 299 у оригинала), MMLU 450/500, LCB 90/100.NVFP4 W4A4: LCB 92/100, GPQA 167/198, MMLU 440/500.
Тестовое железо: 2× RTX PRO 6000 для BF16/FP8 (C8 на карту) и 1× RTX PRO 6000 для NVFP4 и NInfer.
Ограничения: файлы
.ninfer запускаются только в движке NInfer (SGLang, vLLM, llama.cpp и transformers их не поддерживают); DFlash2 и MTP нельзя включать одновременно.









Комментарии