PyMuPDF Chart
извлечение таблиц из графиков
2 мин чтения
Модель vision-language (зрительно-языковая модель), созданная на базе PaddleOCR-VL, которая принимает изображение графика и преобразует его данные в текстовую таблицу. Инструмент разработан для использования в связке с библиотекой PyMuPDF для автоматической обработки PDF-документов. Модель требует видеокарту NVIDIA с поддержкой CUDA и около 2 ГБ видеопамяти для инференса. Полезный инструмент для разработчиков и аналитиков, которым нужно автоматизировать оцифровку графиков из отчетов и документов.
Ключевые особенности
- Точное распознавание данных с графиков и вывод в строчном формате с разделителями
- Построение строк таблицы с ячейками, разделенными вертикальной чертой
- Базируется на архитектуре PaddleOCR-VL с адаптацией под формат Hugging Face Transformers
- Лицензия Apache License 2.0 для свободного использования
Что можно сделать
- Интегрировать модель в пайплайн обработки PDF-файлов с помощью PyMuPDF
- Автоматически переводить графики из финансовых и аналитических отчетов в формат Markdown-таблиц
- Извлекать числовые ряды и заголовки из изображений графиков
Пример
from PIL import Image
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
repo_id = "artifex-software/pymupdf-chart"
processor = AutoProcessor.from_pretrained(repo_id)
model = AutoModelForImageTextToText.from_pretrained(
repo_id, dtype=torch.bfloat16
).to("cuda").eval()
image = Image.open("chart.png").convert("RGB")
messages = [{"role": "user", "content": [
{"type": "image", "image": image},
{"type": "text", "text": "Chart Recognition:"},
]}]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt",
).to(model.device)
with torch.inference_mode():
output = model.generate(**inputs, max_new_tokens=2048, do_sample=False)
print(processor.decode(
output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True
).strip())Подробнее
Требования к железу: CUDA GPU, около 2 ГБ VRAM (CPU не поддерживается).Зависимости: Python 3.12, PyTorch, torchvision, Transformers 5.13 или новее.
Ограничения: метки, значения и единицы могут содержать погрешности; длинные таблицы или сложные многопанельные графики могут обрезаться на лимите 2048 токенов.










Комментарии