Qwen3.8-27B Leaf Symptoms LoRA

LoRA-адаптер от nallaworks для Qwen/Qwen3.8-27B: по фотографии листа модель возвращает JSON с видом растения, статусом, предполагаемым заболеванием и уверенностью. Обучен под 27 классов PlantDoc (13 культур) на изображениях PlantVillage и PlantDoc; это часть исследования о разрыве между лабораторией и полем.

🔥 Ключевые особенности

• 🖼 Принимает фото листа и выдаёт JSON: species, status, condition, confidence.
• 📚 27 классов PlantDoc и 13 культур: apple, bell pepper, blueberry, cherry, corn, grape, peach, potato, raspberry, soybean, squash, strawberry, tomato.
• 🔥 Обучение: 1 эпоха на 6 390 изображениях PlantVillage + PlantDoc, LoRA rank 16, learning rate 1e-4.
• 💻 Нужен точный prompt.txt из репозитория; изображение ресайзится до 768 px по длинной стороне.
• ❌ Закрытый набор из 27 классов без ответа «other/unknown»; заявленная confidence не калибрована.

💻 Пример

from transformers import AutoModelForImageTextToText, AutoProcessor
from peft import PeftModel
base = "Qwen/Qwen3.8-27B"
model = AutoModelForImageTextToText.from_pretrained(base, torch_dtype="bfloat16", device_map="auto")
model = PeftModel.from_pretrained(model, "nallaworks/qwen3.8-27b-leaf-symptoms-lora")
processor = AutoProcessor.from_pretrained(base)
prompt = open("prompt.txt").read()
# далее: image.thumbnail((768, 768)) и processor(text=[...], images=[...])

Подробнее

Точность: PlantVillage 92,2%, PlantDoc 80,1%, PlantDoc leaf crops 70,9%, PlantWild 73,2%, CCMT 49,9%, iNaturalist (только вид) 79,6%.
Железо: около 55 ГБ GPU-памяти в bfloat16; обучение — LoRA rank 16, lr 1e-4, 8,2 ч на NVIDIA DGX Spark.
Ограничения: закрытые 27 классов без «other/unknown», confidence не калиброван, на фермерских фото CCMT точность около 50%.
Только для исследований и триажа с проверкой человеком, не для автономной диагностики или решений о лечении.