Wang Qwen3.5 2B DocTags

Модель от wangcheng на архитектуре Qwen3.5: 2,21 млрд параметров, BF16, задача image-text-to-text. Предназначена для распознавания документов и структурированного вывода DocTags; это PyTorch-checkpoint, а ONNX- и WebGPU-варианты проверялись отдельно.

📌 Ключевые особенности

• 📌 2,21 млрд параметров, BF16, 24 текстовых слоя с гибридом линейного и полного внимания, hidden size 2048, словарь 248 654.
• 🔍 На выходе — DocTags: теги <doctag>, <text>, таблицы и разметка layout.
• 🖥 Используются Qwen2VLImageProcessorFast / Qwen3VLProcessor; промпт из карточки — <image>Convert this page to docling..
• ⚙ Для инференса предложены greedy, temperature=0.0, top_p=1.0, repetition_penalty=1.02, max_pixels=2073600, max_model_len=32768.
• 🌐 ONNX-конвертация завершена; WebGPU-тест в Chrome 157 / A800 прошёл, 26 токенов совпали с CPU-версией.
• ⚠ Подтверждённых accuracy/бенчмарков нет: проверка загрузки не равна проверке OCR-точности.

💡 Пример

Промпт из карточки:

<image>Convert this page to docling.

Ожидаемый формат ответа — DocTags с текстом, таблицами и layout-тегами.

Подробнее

📊 Публичный тест: синтетическая короткая страница на CPU — 26 токенов, около 19,3 с.
🌐 WebGPU: Chrome 157 / A800, 26 токенов совпали с CPU-оригиналом.
⚙ Веса — PyTorch/BF16; для ONNX и браузера нужна отдельная конвертация.
⚠ Полных бенчмарков точности нет; описание обучающих данных в карточке не приведено.
© Apache-2.0, автор wangcheng; checkpoint step 72 000.