Qwen Engine Models

Репозиторий areen09 с оптимизированными контейнерными чекпоинтами .qwenbin v2 для Unified Qwen CUDA Inference Engine. Заявлена поддержка Qwen 2.5, Qwen 3.5 и Qwen 3.8 на Windows и Linux, включая одну Tesla T4 и конфигурацию из двух T4 с tensor parallelism. Это не обычный Transformers-чекпоинт, а бинарный формат под собственный движок.

⭐ Ключевые особенности

• 💻 Чекпоинты Qwen2.5-1.5B (~796 МБ VRAM), Qwen3.5-4B (~2.4 ГБ) и Qwen3.8-27B (~14.2 ГБ суммарно на двух T4).
• 🔥 Квантизация W4A16 Group-128: 4-битные веса упакованы под Turing Tensor Core GEMV.
• 🖱 Dual Tesla T4 tensor parallelism: прямой BAR1 peer memory на Windows TCC и NCCL на Linux.
• 📓 Бинарный контейнер .qwenbin v2: 4096-байтовый page-aligned header и доступ через mmap.
• 🎲 Tag-dispatched выполнение слоёв: чередование LAYER_GQA и LAYER_DELTANET.
• ✅ Бинарный BPE-токенизатор: словарь 151 936 токенов, размер 3.7 МБ.

▶ Пример

./build/bin/cli_bench --model models/qwen3.5-4b-w4a16.qwenbin --device 0 --prompt "Hello, tell me about yourself."

Подробнее

Бенчмарков в карточке нет. Для 27B нужны две Tesla T4 по 16 ГБ; заявлено около 7.1 ГБ VRAM на GPU.
Для Qwen3.5-4B указана экономия KV Cache до 75%.
Ограничение: формат .qwenbin v2 работает только с Unified Qwen CUDA Inference Engine, а не со стандартным Hugging Face Transformers.
Языки в метаданных: английский и китайский.