Застосування дифузійної моделі з удосконаленими критеріями адаптивного балансування класів для незбалансованих наборів даних

Анотація

У статті розглянуто проблему незбалансованості класів, яка залишається одним із ключових обмежень під час побудови систем розпізнавання зображень. Незбалансованість, за якої одні категорії представлені тисячами зразків, а інші містять лише кілька десятків, призводить до систематичного зміщення моделей у бік домінуючих класів і до низької якості розпізнавання рідкісних категорій, що є неприйнятним у клінічному контексті. Генеративні моделі стали поширеним інструментом розв'язання цієї проблеми, і дифузійні моделі зокрема нині забезпечують стабільнішу та якіснішу альтернативу генеративно-змагальним мережам. Проте одному з компонентів таких конвеєрів приділено значно менше уваги, ніж власне генеративній частині, а саме критеріям, які визначають, як обмежену кількість синтетичних зображень слід розподілити між класами. Наявні підходи виводять це рішення з точності класифікатора, виміряної за одну епоху, що є ненадійним для класів, представлених кількома десятками зразків, і не містить інформації про те, до яких саме класів спрямовані помилки. У роботі запропоновано вдосконалені критерії адаптивного балансування класів, які усувають обидва недоліки. Першим компонентом є експоненційно згладжена оцінка точності за класами, яка зберігає чутливість до стійкої слабкості класу та водночас пригнічує коливання, спричинені вимірюванням на дуже малій кількості зразків. Другим компонентом є концентрація помилок, отримана з матриці невідповідностей, який відрізняє клас, помилки якого спрямовані майже винятково до однієї сусідньої категорії, від класу, помилки якого розподілені між багатьма, і відповідно коригує його частку згенерованих зображень. Запропоновані критерії оцінено на наборі даних, що містить понад десять тисяч дерматоскопічних зображень семи класів із коефіцієнтом незбалансованості п'ятдесят вісім до одного, з використанням класово-обумовленої дифузійної моделі як генератора та єдиного спільного пулу синтетичних зображень, що дозволило відокремити вплив критеріїв від усіх інших чинників. Результати демонструють, що запропоновані критерії підвищують збалансовану точність, макроусереднену міру F1 та коефіцієнт кореляції Метьюза порівняно з критерієм на основі точності, причому покращення зосереджене на найменших класах, а розпізнавання домінуючого класу залишається незмінним. Мінливість розподілу за класами між точками оновлення зменшено в середньому на шістдесят три відсотки, а для класу судинних уражень на дев'яносто п'ять відсотків, що безпосередньо підтверджує нестабільність критеріїв на основі точності. Отримані результати показують, що спосіб розподілу синтетичних даних між класами впливає на результат більше, ніж сам факт їх додавання.