Koharu ONNX models
детекция текста и разметки манги в ONNX
2 мин чтенияобновлено
Набор моделей в формате ONNX (универсальный формат для быстрого запуска нейросетей без тяжелых фреймворков), подготовленный для открытого инструмента перевода и обработки манги Koharu. Нейросети находят на страницах комиксов и манги речевые пузыри, текст, звукоподражания и рамки панелей, возвращая их координаты и маски сегментации. В репозиторий вошли экспорты на базе архитектур RT-DETRv2 и RF-DETR Seg 2XL с оригинальными весами от ogkalu и mayocream. Пригодится разработчикам читалок, автоматических переводчиков манги и пайплайнов верстки.
Ключевые особенности
- Детектор текста и баблов: модель
comic-text-and-bubble-detector.onnx(на базе RT-DETRv2) работает с разрешением 640×640 и выделяет классыbubble,text_bubbleиtext_free. - Высокоточная разметка страниц:
koharu-layout-highres.onnx(архитектура RF-DETR Seg 2XL) анализирует страницы в разрешении 1920×1920 и распознает текст, звукоподражания (onomatopoeia), баблы и панели. - Отдельная голова сегментации: файл
koharu-layout-highres-mask-head.onnxстроит точные маски сегментации размером 480×480 только для отфильтрованных объектов, экономя ресурсы. - Воспроизводимость и проверка: экспорт выполнен в FP32 с помощью PyTorch 2.15.0 и проверен на совпадение с исходными весами в ONNX Runtime 1.31.1, а рядом лежат скрипты
export.py.
Что можно сделать
- Встроить готовые графы в локальный десктопный или веб-переводчик манги и комиксов через ONNX Runtime без необходимости тащить за собой PyTorch.
- Автоматизировать очистку сканов (клининг) и вырезание фреймов манги, используя точные маски сегментации из
koharu-layout-highres-mask-head.onnx. - Использовать приложенные скрипты
export.pyкак готовый шаблон для конвертации собственных дообученных детекторов RT-DETRv2 и RF-DETR в ONNX.
Пример
Подача изображения на вход моделей в ONNX Runtime:
— Для comic-text-and-bubble-detector.onnx передается тензор pixel_values формы [1, 3, 640, 640] (RGB в диапазоне [0, 1] без нормализации), на выходе получаем logits и координаты рамок pred_boxes.
— Для koharu-layout-highres.onnx подается тензор [1, 3, 1920, 1920] с нормализацией ImageNet, после чего отобранные признаки передаются в koharu-layout-highres-mask-head.onnx для получения масок [1, K, 480, 480].
Подробнее
Точность весов: FP32 (полная точность с плавающей точкой)Зависимости для внимания: используется оператор
com.microsoft.MultiHeadAttention из ONNX RuntimeИсходные веса:
ogkalu/comic-text-and-bubble-detector и mayocream/koharu-layout-highresЛицензия: Apache-2.0










Комментарии