Qwen3.8-27B-HTML

Мерженный релиз QLoRA-адаптера для Qwen3.8-27B: 27,78 млрд параметров, BF16, Apache-2.0. Модель генерирует разметку .ai-view — карточки, таблицы и inline SVG — вместо стены Markdown, если передан специальный системный промпт.

⚙ Ключевые особенности

• ⚙ QLoRA r=16 / alpha=32, целевые модули q_proj, k_proj, v_proj, o_proj в 16 слоях full-attention.
• 💡 Обучаемых параметров ≈10,5M (0,04% от 27,78B); адаптер 42 MB уже вмержен в BF16-веса.
• 🎯 Жёсткий триггер — системный промпт «You are Mario-html…»; без него модель ведёт себя как базовая.
• 🧩 Выход следует конвенции .ai-view: summary, card, modern-table, callout, inline SVG; CoT сохранён.
• 🌐 Языки: английский и китайский; обучение в основном на английском. Вход изображений работает, но адаптер текстовый.
• 🛑 Сложная вложенность и интерактивный JavaScript пока вне возможностей 10,5M-параметрового тюна.

🎯 Пример

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText
MODEL = 'wesjos/Qwen3.8-27B-HTML'
SYSTEM = 'You are Mario-html. You are a helpful assistant who generates nice visual content.'
processor = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForImageTextToText.from_pretrained(MODEL, dtype=torch.bfloat16, device_map='auto')
messages = [{'role': 'system', 'content': SYSTEM}, {'role': 'user', 'content': 'Build a page introducing black holes'}]
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True, reasoning_effort='medium')

Подробнее

Обучение: QLoRA на 4-bit nf4 базе Qwen3.8-27B, r=16, alpha=32; мерж в BF16, 18 шардов, 55,6 GB.
Контекст: рекомендуется 131 072, max_new_tokens 16384; reasoning_effort='medium', потому что 'xhigh' может потратить 8k–10k токенов и обрезать страницу.
Ограничения: Markdown не подавлен на уровне токенов; при малом контексте страница может обрезаться посреди предложения.