POTATR ONNX

Self-contained репозиторий для инференса модели Kensho POTATR v1.1 — Page-Object Table Transformer (DAS 2026), экспортированной в ONNX. Модель, код и веса распространяются под MIT; вес ONNX-файла — 115.8 MB.

⚙ Ключевые особенности

• 📀 Экспорт через torch.onnx.export, opset 18, без graph surgery и custom ops.
• ⚡ Динамические оси H и W: любой размер холста обслуживается одним репозиторием; на CPU ORT около 340 мс на страницу.
• 🧩 Три выхода: pred_node_logits [1,250,17], pred_boxes [1,250,4] и pred_edge_logits [1,250,250,2].
• 🎯 16 классов объектов плюс no-object: таблица, строки, колонки, заголовки, объединённые ячейки, подписи, футеры и повёрнутые варианты.
• 🧬 Паритет torch и ORT CPU: max abs diff 1e-6..6e-5 на нескольких размерах холста.

🔎 Пример

На вход подаётся изображение страницы [1,3,H,W] float32 RGB: длинная сторона ресайзится до 1000 и нормализуется ImageNet mean/std. На выходе — логиты объектов, нормализованные боксы и рёбра; слова страницы (bbox, text и номера блоков/строк/спанов) затем отдельно использует постпроцессор для текста ячеек.

Подробнее

В статье указан GriTS_Con 0.964 на PubTables-v2 Single Pages; независимый torch-гейт на 39 JATS-таблицах дал micro GriTS-Con F1 0.900 и TEDS 0.873.
Инференс на CPU через ORT — около 340 мс на страницу; ONNX-вес — 115.8 MB.
Слова страницы не являются входом сети: их передают в постпроцессор отдельно.