Caption Remover models
ONNX-модели для браузера
2 мин чтенияобновлено
Репозиторий содержит две популярные модели (LaMa для закрашивания масок и CRAFT для поиска текста), переведенные в формат ONNX для работы прямо в браузере через графическую карту с использованием ONNX Runtime Web и WebGPU. Веса моделей остались оригинальными, но инженеры оптимизировали их под ограничения браузерных сред — в частности, заменили FFT (быстрое преобразование Фурье) в LaMa на матричные умножения. Инструмент будет полезен разработчикам веб-приложений, создающим клиенты для удаления текста или редактирования изображений на стороне клиента.
Ключевые особенности
- ONNX Runtime Web: модели запускаются прямо в браузере на видеокарте пользователя через WebGPU.
- Оптимизация LaMa: переписано преобразование Фурье через матричные умножения для обхода ограничений браузерных GPU-рантаймов.
- Две задачи: интеграция моделей для инпейнтинга (заполнения пропусков) и детектирования текста на изображениях.
- Оригинальные веса: высокая точность оригинальных архитектур сохранена при конвертации.
Что можно сделать
- Встроить в веб-приложение: создать браузерный инструмент для удаления водяных знаков и надписей с фото.
- Инпейнтинг на клиенте: использовать
lama-inpaint.onnxдля закрашивания замаскированных областей прямо на устройстве пользователя. - Детекция текста: применять
craft-text.onnxдля поиска текстовых областей на изображениях в веб-интерфейсе.
Пример
Модели принимают тензоры изображений в формате float32 (RGB, значения от 0 до 1) и соответствующие маски для инпейнтинга или нормализованные данные для детекции текста.
Подробнее
• Формат: ONNX• Базовые модели: advimman/lama, clovaai/CRAFT-pytorch
• Лицензия: Apache 2.0 (lama), MIT (craft)
• Особенности: точность lama-inpaint совпадает с оригиналом в пределах 1e-5










Комментарии