KrishiLoop AgriTriage
офлайн-модель для диагностики болезней растений
2 мин чтенияобновлено
KrishiLoop AgriTriage — это миниатюрная модель на базе архитектуры TinyViT (11 миллионов параметров), созданная для работы прямо на смартфоне или в браузере. Она анализирует фотографии листьев растений офлайн и определяет возможные болезни по списку из 89 категорий. Особенность модели — встроенный конформный safety gate (защитный механизм), который в зависимости от уверенности выдает точный диагноз, предлагает шорт-лист из нескольких вариантов или отправляет фото специалисту. Модель пригодится разработчикам мобильных приложений и агротех-проектов, которым нужна быстрая локальная диагностика без отправки данных на сервер.
Ключевые особенности
- Работа на устройстве: Модель весит всего 11.5 МБ в формате ONNX (INT8) и исполняется локально.
- 89 классов заболеваний: Распознает широкий спектр болезней сельскохозяйственных культур.
- Safety Gate: Защитный алгоритм снижает риск ложных срабатываний, вовремя передавая сложные случаи агроному.
- Интерпретируемость (XAI): Выдает Grad-CAM карту для объяснения того, на какую часть листа обратила внимание нейросеть.
Что можно сделать
- Встроить в мобильное приложение: Использовать onnxruntime-web или нативный ONNX Runtime для офлайн-помощи фермерам.
- Создать агро-бота: Применять модель в Telegram-ботах для первичного экспресс-анализа фотографий полей.
- Добавить механизм проверки: Настроить логику передачи неопределенных снимков живым экспертам.
Пример
import json, numpy as np, onnxruntime as ort
from PIL import Image
cfg = json.load(open("config.json"))
s = ort.InferenceSession("model_xai.onnx", providers=["CPUExecutionProvider"])
im = Image.open("leaf.jpg").convert("RGB")
k = cfg["resize"] / min(im.size)
im = im.resize((max(224, round(im.width * k)), max(224, round(im.height * k))), Image.Resampling.BILINEAR)
l, t = (im.width - 224) // 2, (im.height - 224) // 2
x = np.asarray(im.crop((l, t, l + 224, t + 224)), np.float32) / 255.0
out = s.run(None, {s.get_inputs()[0].name: x.transpose(2, 0, 1)[None]})
Подробнее
• Точность (Top-1) для INT8 версии составляет 77.5% (FP32: 77.8%) на тестовом датасете PlantWild.• Архитектура: TinyViT-11M, дистиллированная из трех больших учителей (DINOv2, CLIP, Perception Encoder).
• Вне зоны обучения (на полевых фото PlantDoc) точность падает без срабатывания защитного шлюза.
• Не обрабатывает персональные данные: вся обработка происходит локально на устройстве.










Комментарии