Порівняльне оцінювання байєсівських та нейромережевих моделей прогнозування серцево-судинних захворювань з урахуванням калібрування та невизначеності

Анотація

У роботі досліджено проблему надійності ймовірнісного прогнозування серцево-судинних захворювань у системах підтримки прийняття рішень. На відміну від підходу, за якого якість моделі оцінюють переважно за однією метрикою класифікації, розглянуто сукупність взаємопов’язаних властивостей прогнозної системи: дискримінаційну здатність, відповідність прогнозованих імовірностей фактичним частотам, оцінку невизначеності, здатність виявляти помилкові прогнози та можливість відмови від автоматичного рішення для складних випадків. Експерименти виконано на відкритому наборі Cardiovascular Disease Dataset. Після консервативного очищення проаналізовано понад шістдесят вісім тисяч спостережень; із вихідних ознак сформовано двадцять одну вхідну змінну після кодування та масштабування. У єдиній схемі порівняно наївний байєсівський класифікатор, байєсівську мережу, логістичну регресію, багатошаровий перцептрон, стохастичне виключення нейронів за методом Монте-Карло, наближення Лапласа для останнього шару, байєсівський останній шар із вибіркою Гамільтона–Монте-Карло та глибокий ансамбль. Показано, що на повній тестовій вибірці розходження моделей за здатністю ранжувати спостереження є невеликим: найбільше значення площі під характеристичною кривою «чутливість–специфічність» отримав глибокий ансамбль, тоді як Neural-Laplace мав найменшу очікувану похибку калібрування серед досліджених моделей. Для моделей із розподілом прогнозів оцінка невизначеності виявляла помилкові прогнози краще за випадкове ранжування; найвище значення відповідної площі під характеристичною кривою отримано для Neural-Laplace. Селективне прогнозування показало, що вилучення випадків із найбільшою оціненою невизначеністю із автоматичної обробки зменшує ризик на решті вибірки. Експеримент зі зменшенням навчальної вибірки показав, що при використанні десяти відсотків навчальних даних різниця між Neural-Laplace та багатошаровим перцептроном за показниками калібрування була найбільш вираженою: очікувана похибка калібрування Neural-Laplace виявилася у понад сім разів меншою. Науковий результат полягає у встановленні в межах єдиної експериментальної схеми того, що байєсівська складова не забезпечує автоматичного приросту дискримінаційної здатності, але може змінювати профіль якості прогнозної системи за калібруванням і невизначеністю: Neural-Laplace мала найнижчу очікувану похибку калібрування та найкращу здатність виявляти помилкові прогнози за оцінкою невизначеності. Практична цінність полягає у використанні такого профілю характеристик для побудови селективного прогнозування в системах підтримки прийняття рішень.