ImageGrains 2.0 ONNX
сегментация гальки и зёрен прямо в браузере
2 min readupdated
Набор моделей для instance segmentation (выделения каждого отдельного объекта на фото) речной гальки, булыжников и осадочных обломков с расчётом гранулометрического состава (D16, D50, D84) и морфометрии. Автор inYourOwnBrowser портировал официальные веса ImageGrains 2.0 (на базе архитектур Cellpose U-Net и Cellpose-SAM ViT-L) в единые ONNX-файлы (формат обмена нейросетевыми моделями), убрав зависимости от Python и Numba. В отличие от оригинального релиза, модели укладываются в браузерный лимит до 2 ГБ и работают полностью на стороне клиента через onnxruntime-web (WebGPU и WebAssembly) без загрузки снимков на сервер. Решение пригодится геологам, гидрологам и разработчикам веб-приложений для полевого анализа фото.
Ключевые особенности
- Два готовых варианта в одном файле: быстрый
ig2_unet_fp32.onnx(26,6 МБ, FP32) для десктопных и мобильных браузеров и точныйig2_cpsam_fp16.onnx(~588 МБ, FP16) для десктопного WebGPU. - Полностью автономный инференс в браузере через WebGPU или CPU WASM без отправки изображений на бэкенд.
- Единый выходной тензор
[flow_y, flow_x, cellprob], позволяющий использовать одинаковую постобработку для извлечения масок обеими моделями. - Численная сверка с оригинальным PyTorch: максимальная абсолютная ошибка менее 10⁻⁴ для U-Net и 3,91×10⁻³ для Cellpose-SAM.
Что можно сделать
- Встроить в веб-сервис или PWA-приложение на базе
onnxruntime-webдля мгновенного измерения размеров гальки и обломков по фото прямо в полевых условиях. - Использовать
ig2_unet_fp32.onnxна мобильных устройствах и слабых ПК с произвольным разрешением снимков, аig2_cpsam_fp16.onnx— для пакетной обработки тайлов 256×256 на десктопе с WebGPU.
Пример
import * as ort from 'onnxruntime-web/webgpu';
const session = await ort.InferenceSession.create('./ig2_unet_fp32.onnx', {
executionProviders: ['webgpu', 'wasm'],
});
const tileData = new Float32Array(1 * 2 * 256 * 256);
const inputTensor = new ort.Tensor('float32', tileData, [1, 2, 256, 256]);
const results = await session.run({ image: inputTensor });
const flowsCellprob = results.flows_cellprob.data;
Подробнее
Модели:ig2_unet_fp32.onnx (Cellpose-2/3 CPnet U-Net, динамический размер входа, 2 канала: ч/б и нули) и ig2_cpsam_fp16.onnx (Cellpose-SAM ViT-L, фиксированный тайл 256×256 RGB, батч 1–32).Требования: для FP16-версии нужен WebGPU и поддержка
Float16Array (Chrome/Edge от 135, Safari от 17.4); U-Net работает через WebGPU и WASM.Лицензия весов: CC BY 4.0 (на базе весов Zenodo DOI: 10.5281/zenodo.15728186).










Comments