Метод багаторакурсного оцінювання пошкоджень інфраструктурних об’єктів на основі мультимодального аналізу зображень

Анотація

Масштабні руйнування цивільної інфраструктури, спричинені війною в Україні, зумовили нагальну потребу в автоматизованих, надійних і масштабованих методах оцінювання пошкоджень будівельних конструкцій. У цьому дослідженні представлено порівняльну оцінку сучасних моделей «бачення-мова» (Vision-Language Models, VLM) та гібридного підходу комп’ютерного зору для класифікації пошкоджень інфраструктури за даними з кількох ракурсів. Було сформовано спеціалізований набір даних на основі наземних зображень пошкоджених війною будівель, зібраних у різних регіонах України, де кожен об’єкт інфраструктури представлений від двох до восьми фотографій, включно із зображеннями до та після пошкодження, якщо такі були доступні. Ступінь пошкодження класифіковано за п’ятьма класами: від непошкодженого до повністю зруйнованого. Запропонована методологія поєднує підхід багаторакурсного аналізу з семантичною сегментацією на основі архітектури U-Net із енкодером ResNet, а також евристичною моделлю на основі правил, яка оцінює ступінь структурних пошкоджень за піксельними метриками. Інформація з різних ракурсів агрегується для формування єдиної оцінки на рівні об’єкта, що зменшує неоднозначність, спричинену перекриттями та обмеженими кутами огляду. Запропонований підхід експериментально порівняно з кількома сучасними мультимодальними VLM, зокрема ChatGPT версії 5.5 (High Intelligence), Claude Sonnet версії 5 (Medium), Gemini версії 3.1 Pro (High) та Grok версії 4 (Fast), із використанням таких метрик, як Accuracy, Precision, Recall, F1-score, а також коефіцієнтів переоцінювання та недооцінювання. Експериментальна оцінка, проведена на спеціалізованому наборі даних, що містить зображення пошкоджених об’єктів інфраструктури, продемонструвала, що сучасні VLM перевершують базову модель сегментації за загальною точністю класифікації, водночас забезпечуючи надійне міркування у складних сценаріях структурних пошкоджень. Водночас запропонований гібридний підхід на основі сегментації забезпечує інтерпретоване оцінювання пошкоджень на рівні пікселів і залишається придатним для використання в умовах обмежених обчислювальних ресурсів. Розроблена методологія багаторакурсного оцінювання є ключовим аналітичним компонентом інтелектуальної багатофункціональної ГІС, призначеної для підтримки інвентаризації будівельних і демонтажних відходів, оптимізації логістики їх перероблення та сприяння сталому повоєнному відновленню на засадах принципів циркулярної економіки.