Qwen3.5-2B-GLiDE-LoRA
адаптер для задач принятия решений поверх Qwen3.5-2B
2 min readupdated
Это PEFT LoRA-адаптер (небольшая надстройка над базовой моделью) ранга 128 в комплекте с дополнительной выходной головой CodeReadout, извлечённый из fastino/GLiDE-2B методом Joint-SVD. Разработка автора nchapman предназначена для работы поверх Qwen/Qwen3.5-2B или её квантованной версии nchapman/Qwen3.5-2B-W4A16-HGPTQ. Главная фишка в том, что адаптер позволяет на одном загруженном инстансе движка warp-34 одновременно обслуживать обычный чат и высокоточные запросы классификации или выбора решений (/v1/systemone и /v1/decisions). Решение пригодится разработчикам, которым нужно экономить память и совмещать генерацию текста с быстрой маршрутизацией или принятием решений в одном пайплайне.
Ключевые особенности
- Совмещение двух режимов: базовый движок продолжает отвечать в режиме обычного чата (
lora_id = -1), а при активации адаптера включаются головаCodeReadoutна 255 классов и режимnoncausal_full_attentionдля отдельных запросов. - Оптимизация под fused-проекции: внутри каждого слоя связанные проекции делят побитово идентичные матрицы
lora_A.weight, благодаря чемуwarp-34выполняет одно сжатие ранга 128 вместо двойного или тройного. - Нетронутые веса нормализации: коэффициенты масштабирования
input_layernormиpost_attention_layernormзаранее вшиты в столбцыlora_A, поэтому веса RMSNorm базовой модели во время работы не меняются. - Полный охват слоёв: адаптер затрагивает все линейные проекции декодера (
self_attn,linear_attnиmlp) и весит 243.1 МБ в формате BF16.
Что можно сделать
- Подключить адаптер к
Qwen/Qwen3.5-2BилиQwen3.5-2B-W4A16-HGPTQв средеwarp-34, чтобы обслуживать диалоги и эндпоинты принятия решений на одной копии весов. - Использовать связку с 255-классовой головой
CodeReadoutдля быстрой классификации и выбора действий черезDecisionModelProfile.
Пример
В карточке не приведён код запуска, но описан состав файлов для загрузки в движок warp-34: стандартный адаптер adapter_config.json и adapter_model.safetensors (243.1 МБ), а также метаданные профиля decision_config.json и веса головы readout.safetensors. При запросе с lora_id = -1 работает стандартная генерация Qwen3.5-2B, а при подключении профиля адаптера активируется профиль quick-empty-think-medium-v1 с полным двунаправленным вниманием.
Подробнее
Бенчмарк JevBench Public Evaluation (231 кейс): общий результат 190/231 (82.25%), Easy — 48/48, Original — 69/72, Hard — 73/111.Метрики вероятностной калибровки на JevBench: Mean NLL — 0.3907, Mean Brier — 0.2213.
Формат весов адаптера — BF16 (243.1 МБ), в релизе также доступна более компактная версия для
Qwen3.5-0.8B.









Comments