MiniCPM-OCR 1.0 DSpark

DSpark — это draft-модель для speculative decoding от OpenBMB, предназначенная для MiniCPM-OCR 1.0. Она не работает как самостоятельная OCR-модель: её нужно использовать в паре с основной 1.3B-моделью из того же релиза. У draft-головы 296,8 млн параметров, 5 слоёв и 15 draft-токенов за forward pass.

🔍 Ключевые особенности

• ⚡ Ускоряет декодирование: маленькая draft-модель предлагает токены, а основная проверяет их за один проход.
• 📈 Заявлен прирост end-to-end эффективности обработки на 55%; throughput примерно 1,49× от PaddleOCR-VL-1.6 и 3,62× от MinerU2.5 Pro.
• 🧩 296 837 889 параметров, 5 слоёв, BF16; target hidden-state слои — [3, 7, 11, 15, 19].
• 🔗 Требуется совместимая пара main + draft из одного релиза; с другим основным чекпоинтом draft использовать нельзя.
• ⚠️ В этом чекпоинте `d2t` закодирован как дельта (`target_id - draft_id`); перед использованием его нужно привести к абсолютным ID. `local-to-target.json` служит эталоном для проверки.

🖥 Пример

vllm serve openbmb/MiniCPM-OCR-1.0 --trust-remote-code --speculative-config '{"method":"dspark","model":"openbmb/MiniCPM-OCR-1.0-DSpark","num_speculative_tokens":15}'

Подробнее

Целевая модель — MiniCPM-OCR 1.0 (1.3B), draft — 296,8M параметров и 5 слоёв.
Входной словарь — 248 100 токенов, выходной словарь draft — 114 688.
DSpark-голова также доступна в GGUF-варианте; основная модель имеет BF16, GGUF, AWQ W4A16 и GPTQ W4A16 версии.
Лицензия весов, кода и документации — Apache 2.0.