Qwen3.8-27B-Longbook27-v2

Qwen3.8-27B-Longbook27-v2 — 27B-файнтюн от summerAIO для понимания и генерации длинных текстов: книг, статей и отчётов. Использует кастомную архитектуру qwen3_5_gdn24 с Gated DeltaNet и поставляется с remote code; языки — английский и японский. Версия v2 улучшает поведение и качество вывода по сравнению с v1.

🤔 Ключевые особенности

• 📝 Длинный контекст: рассчитана на входы масштаба книги.
• 🤓 Гибридное внимание: кастомная архитектура qwen3_5_gdn24 со слоями линейного внимания Gated DeltaNet.
• 👍 Версия v2: улучшены поведение и качество вывода относительно v1.
• 😎 Экономия VRAM: в 4-bit NF4 занимает около 17 GB и помещается на 24 GB GPU.
• 🤔 Режим размышлений: chat template в стиле ChatML поддерживает enable_thinking.

⌨ Пример

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = 'summerAIO/Qwen3.8-27B-Longbook27-v2'
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    device_map={'': 0}, trust_remote_code=True)

Подробнее

bf16 — ~54 GB VRAM (A100 80GB / H100), 4-bit NF4 — ~17 GB, помещается на 24 GB GPU.
CPU offloading не поддерживается кастомными ядрами: модель нужно целиком держать на GPU.
Обязателен trust_remote_code=True — выполняется код из репозитория (modeling_qwen35_gdn24.py, fused_ops.py).
Память растёт с длиной входа; в саммари возможны детали, которых нет в источнике. Бенчмарки не указаны.