MiniCPM-OCR 1.0 на AX650

Это community-конверсия openbmb/MiniCPM-OCR-1.0 — end-to-end OCR-VLM на 1.30B — в запускаемый пакет для AX650 NPU. Внутри runtime axllm с OpenAI-совместимым HTTP-сервисом. Это не официальный релиз AXERA или OpenBMB.

📌 Ключевые особенности

• 🤖 База — MiniCPM-OCR-1.0, OCR-визуально-языковая модель на 1.30B.
• 💻 Запуск через axllm: OpenAI-совместимый endpoint /v1/chat/completions.
• 📦 Пакет около 2.5 GB; mmap-загрузка, CMM занимает примерно 1.4 GB.
• ⚡ На AX650N визуальный энкодер 448×448 работает за 615 ms, декодирование таблиц — около 10 tok/s.
• ✅ OCR текста сверен с HF-референсом: character similarity 1.0, цифры 12/12.
• ❌ Визуальный энкодер требует U16-активаций: INT8 даёт cosine 0.311 и непригоден.

💻 Пример

tar xf minicpm-ocr-1.0-ax650.tar -C /root/minicpm-ocr-v2
cd /root/minicpm-ocr-v2
chmod +x bin/axllm
LD_LIBRARY_PATH=/opt/lib:/opt/bin:$PWD/bin ./bin/axllm serve . --port 18081

Подробнее

AX650N, 8 ядер / 3.8 GB DDR / CMM 4096 MB: таблица 448×448 — 12.2–22 с, декодирование ≈10 tok/s; полная страница — около 2.5 мин.
Визуальный энкодер обязан быть U16 (Pulsar2 6.0): INT8 даёт cosine 0.311.
Pulsar2 7.0/8.0 падают при сборке полного U16-графа; это неофициальная конверсия.