RK182X-VLM-MinerU2.5-Pro-2604-1.2B
конвертация VLM для чипов Rockchip RK182X
2 мин чтенияобновлено
Модель представляет собой портированную версию VLM (визионерской языковой модели) OpenDataLab/MinerU2.5-Pro-2604-1.2B под аппаратные ускорители NPU серии RK182X (чипы RK1820 и RK1828). Базовая нейросеть с 1.2 миллиарда параметров создана для эффективного распознавания и разбора сложных документов, включая разметку макета, текст, формулы и таблицы. Новая версия оптимизирована для запуска на встраиваемых устройствах с помощью среды выполнения RKNN Runtime v1.1.0.
Ключевые особенности
- Оптимизация под NPU: Веса сконвертированы для работы на аппаратных платформах RK1820 и RK1828 с использованием квантования w4a16.
- Парсинг документов: Точное извлечение текста, таблиц и формул с поддержкой контекста до 8192 токенов.
- Гибкие конфигурации: Доступны варианты с разрешением зрения 1036x1036 (для RK1828) и 448x448 (для RK1820 и RK1828).
- Готовые окружения: В репозитории содержатся конфигурационные файлы и манифесты с поддержкой проверки SHA-256.
Что можно сделать
- Развернуть на железе: Установить модель на устройства с процессорами Rockchip RK182X для локального распознавания документов.
- Автоматизировать разбор PDF: Интегрировать модель в пайплайн обработки сканированных документов, отчетов и научных статей.
- Распознавать формулы и таблицы: Использовать возможности VLM для оцифровки сложных печатных материалов без отправки данных в облако.
Пример
Скачивание репозитория с моделью с помощью утилиты Hugging Face CLI:
hf download UGREENDEV/RK182X-VLM-MinerU2.5-Pro-2604-1.2B --revision v1.1.0 --local-dir ./RK182X-VLM-MinerU2.5-Pro-2604-1.2BПодробнее
Исходная модель распространяется под лицензией Apache License 2.0.Требуется совместимая версия RKNN Runtime и драйверов (проверка через rknn-smi -v).
Поддерживается работа на чипах RK1820 и RK1828 с кэшем KV в fp16.










Комментарии