Покращений підхід до безміткової ідентифікації з використанням сегментованих треклетів для аналізу поведінки об’єктів

Анотація

У цій роботі ми представляємо вдосконалений підхід до ідентифікації без міток з використанням сегментованих треклетів для аналізу поведінки об'єктів - Mask-TAUDL. Цей підхід враховує сегментацію та поєднує двопотоковий детектор/сегментатор Mask R-CNN (twin-ResNet18) з неконтрольованим глибоким навчанням на основі асоціації треклетів (TAUDL). Високоякісні маски екземплярів та об'єднані ознаки покращують чіткість зображення та узгодженість зовнішнього вигляду, тоді як TAUDL одночасно навчає дискримінативні вбудовування та асоціації між сеансами без ідентифікаційних міток. Запропонований підхід покращує стійкість ідентифікації за умов перекриттів, змін пози та освітлення, зменшуючи перемикання ідентичностей та фрагментацію під час тривалих спостережень. Інтеграція чистих маскованих фрагментів, ознак руху та часових покращень у TAUDL дозволяє масштабоване відстеження без анотацій. Надійна повторна ідентифікація тварин у довгострокових поведінкових дослідженнях залишається складною через перекриття, зміни освітлення та візуальну схожість між особинами. Більшість існуючих методів спираються на попередньо позначені набори даних, що обмежує масштабованість у лабораторних умовах. Запропонований підхід підвищує стійкість до перекриттів, змін пози та дрейфу освітлення, зменшуючи перемикання ідентичності та фрагментацію під час тривалих спостережень. Підхід призначений для вивчення поведінки тварин, зокрема мишей та риб, за якими спостерігають у закритих або контрольованих лабораторних умовах, де для поведінкового аналізу потрібне стабільне довгострокове відстеження.