Сегментація та детекція людей у мультиспектральному відеопотоці в умовах надзвичайних ситуацій

Анотація

Роботу присвячено підвищенню точності та стійкості детекції й сегментації людей у мультиспектральному відеопотоці за умов надзвичайних ситуацій зі збереженням продуктивності, достатньої для роботи в реальному часі. Показано, що пряме перенесення детекторів, навчених на зображеннях видимого діапазону, в інфрачервоний спектр є неефективним через міжмодальний доменний зсув: модальності різняться за фізичною природою сигналу, рівнем шуму, характером контрасту та набором доступних текстурних ознак. Проаналізовано основні напрями детекції та сегментації людей в інфрачервоному діапазоні: теплові детектори та спеціалізовані набори даних, доменну адаптацію й перенесення ознак із видимого спектра, багатоспектральні детектори з різними рівнями злиття та методи компенсації модального дисбалансу. Встановлено, що їх спільним обмеженням є фіксована довіра до модальностей та однакова для всіх кадрів глибина попередньої обробки. Запропоновано вдосконалений спосіб детекції та сегментації людей на основі двогілкової архітектури YOLOv8m-seg, що поєднує кількісну метрику інформативності модальності, адаптивну передобробку кадрів і крос-модальне злиття ознак зі змінними вагами. Інформативність RGB- та ІЧ-каналів визначається за нормованими характеристиками локального середньоквадратичного контрасту, ентропії розподілу яскравості, енергії градієнта за Тененграмом, оберненої оцінки щільності серпанку та відношення сигнал/шум, а для теплового каналу додатково враховується узгодженість теплового діапазону цілі. Значення метрики належать діапазону [0; 1] і поділяються на чотири рівні: дуже низький за I<0,25, низький за 0,25≤I<0,45, середній за 0,45≤I<0,70 та високий за I≥0,70. За I(c)<0,45 режим втручання визначається профілем компонент метрики: залежно від характеру деградації застосовується швидка корекція або нейромережеве відновлення, тоді як за достатньої інформативності додаткова передобробка пропускається. Крос-модальне злиття реалізовано зі змінними просторовими вагами RGB- та ІЧ-ознак, що визначаються відповідно до локальної інформативності кожної модальності. Додатково застосовано узгоджену з фізикою деградацій стратегію формування навчальної вибірки та засоби роботи з малорозмірними й частково перекритими цілями. Експериментальну перевірку проведено на відкритих мультиспектральних наборах KAIST Multispectral Pedestrian, LLVIP та FMB, об’єднаних у відтворюваний протокол MS-ER; матеріали для відтворення експерименту розміщено у відкритому репозиторії GitHub. Експериментальна база охоплювала 26 841 пару RGB–ІЧ кадрів, або 53 682 зображення, а для навчання сегментаційної складової додатково сформовано 55 427 масок людей. Для контрольованого порівняння використано шість конфігурацій M1–M6: RGB-only, thermal-only, статичне RGB+ІЧ-злиття, ICAFusion, запропоновану модель без адаптивної передобробки та повну модель M6 з метрикою інформативності, адаптивною передобробкою й локальним керуванням вагами модальностей. За результатами експериментального прогону 5000 кадрів установлено, що 46,8 % кадрів оброблялися без додаткової передобробки, для 31,6 % застосовувалася швидка корекція, а для 21,6 % - глибока реконструкція; середній час обробки становив 26,3 мс/кадр за середньої продуктивності 38,0 FPS, максимальної 49,8 FPS та пікового використання GPU-пам’яті 6,4 ГБ. Отримані результати підтверджують працездатність запропонованого способу та можливість адаптивного перерозподілу обчислювальних ресурсів залежно від поточної інформативності RGB- та ІЧ-каналів. Застосування найбільш ресурсомісткого режиму лише до деградованої частини кадрів дає змогу зберігати продуктивність, достатню для обробки мультиспектрального відеопотоку в реальному часі, водночас використовуючи комплементарну інформацію RGB- та ІЧ-модальностей для детекції й сегментації людей у складних умовах спостереження.