Керована подіями архітектура ланцюжків постачання на основі Q-навчання в умовах невизначеності

Анотація

У роботі розглянуто концепцію побудови керованої подіями архітектури (Event-Driven Architecture, EDA) для систем управління ланцюгами постачання (Supply Chain Management, SCM) із використанням Q-learning в умовах невизначеності. Обґрунтовано, що за наявності високої волатильності попиту, затримок у постачаннях та викривлень у вихідних даних детерміновані й класичні статистичні моделі припускаються значних помилок, що призводить до зростання операційних витрат через дефіцит або надлишок товарного запасу. Автори підкреслюють доцільність переходу від циклічного розрахунку прогнозів за розкладом до реагування на події в логістичній мережі у реальному часі за допомогою програмної шини подій (Event Bus). Метою дослідження є розробка керованої подіями архітектури прийняття рішень, яка поєднує шину подій, контролер на основі навчання з підкріпленням (Reinforcement Learning, RL) та асиметричну функцію винагороди. Основна увага приділяється відмові від прямого відновлення функції попиту на користь оцінки оптимальності дій у конкретних станах системи та пошуку балансу між витратами на утримання запасів і ризиками дефіциту. У роботі систематизовано ключові рішення: формалізація марковського процесу прийняття рішень (Markov Decigion Process, MDP) без побудови математичної моделі середовища (model-free підхід); асинхронна обробка подій у вузлах мережі; використання Q-learning як інтерпретованого та обчислювально легкого методу. Практичний аналіз доводить, що застосування запропонованого підходу забезпечує стійкість системи до зашумлених даних та мінімізує часові затримки під час прийняття управлінських рішень.