Building Defect AI
классификатор дефектов фасадов
2 мин чтенияобновлено
Building Defect AI — учебно-прикладной проект, который по фотографии поверхности здания определяет одну из семи категорий: водоросли, крупная трещина, мелкая трещина, отслоение, ровная поверхность, выкрашивание или пятно. В основе — ResNet18 и transfer learning; лучший эксперимент дал test accuracy 87,92% на 795 тестовых снимках. Модель также строит Grad-CAM-теплокарты, чтобы показать, какие участки изображения повлияли на прогноз. Пригодится для исследований computer vision в архитектуре, учебных прототипов и объяснимого AI, но не заменяет профессиональное обследование здания.
Ключевые особенности
- Различает 7 состояний поверхности: Algae, Major Crack, Minor Crack, Peeling, Plain, Spalling, Stain.
- Лучший результат — fine-tuning Layer4 и classifier с early stopping: 87,92% на тесте.
- Grad-CAM подсвечивает области, важные для решения, по последнему свёрточному блоку ResNet18.
- В репозитории есть скрипты
predict.py,evaluate.py,gradcam.pyи ноутбуки экспериментов. - Это академический прототип: возможна утечка похожих или аугментированных изображений между split'ами, а внешние реальные фото требуют дополнительной проверки.
Что можно сделать
- Проверить фото фасада в учебном прототипе и получить класс дефекта вместе с теплокартой для интерпретации.
- Разобрать на примере BD3, как работает transfer learning и fine-tuning ResNet18.
- Собрать основу для исследовательского помощника по мониторингу зданий: сортировка снимков по категориям для дальнейшего осмотра.
- Использовать как отправную точку для будущих экспериментов с детекцией и сегментацией дефектов.
Пример
Сценарий из карточки: подайте снимок поверхности здания в src/predict.py — на выходе будет один из семи классов. Затем запустите src/gradcam.py, чтобы получить тепловую карту участков, на которые опиралась модель. На тесте лучший эксперимент верно классифицировал 699 из 795 изображений.
Подробнее
Test accuracy: 87,92% (699 из 795), macro F1 — 87,80%, weighted F1 — 87,77%.Эксперимент 3 (fine-tuning Layer4 + classifier, early stopping) обошёл эксперименты 1 и 2: 83,14% и 79,75%.
Слабое место — Minor Crack: recall 69,05%; Grad-CAM даёт качественную визуализацию, но не границы дефекта и не оценку серьёзности.
Датасет BD3: 3 965 изображений, split 60:20:20, random seed 42.










Комментарии