Програмна система прогнозування інвестиційних ризиків засобами великих даних та штучного інтелекту

Анотація

Статтю присвячено розробці, детальному архітектурному проєктуванню та комплексному експериментальному дослідженню високопродуктивної програмної системи автоматизованого прогнозування інвестиційних ризиків на фондовому ринку з використанням технологій аналізу великих даних та сучасних моделей штучного інтелекту. Обґрунтовано високу актуальність автоматизації аналітичних процесів, зумовлену надзвичайною динамічністю цінових котирувань цінних паперів, значними обсягами неструктурованих новинних потоків і матеріалів соціальних мереж та суттєвими фізичними обмеженнями людини щодо їх ручного моніторингу в режимі реального часу. Сформульовано специфікацію вимог до програмного забезпечення згідно з міжнародним стандартом IEEE Std 830-1998. На основі двох незалежних математичних моделей оцінки трудовитрат – моделі конструктивної вартості та точок варіантів використання – обґрунтовано оптимальний термін розробки мінімально життєздатного продукту, який становить від 5 до 6 місяців чистої індивідуальної розробки. Запропоновано модульну архітектуру системи, що спирається на сучасні шаблони проєктування. Розроблено асинхронний автоматизований конвеєр збору сирого інформаційного масиву з біржових платформ Nasdaq, Finnhub API та соціальної мережі Reddit. Збереження реляційних структурованих даних та семантичних векторів реалізовано на базі системи управління базами даних PostgreSQL із розширенням PGVector та оптимізованого стовпчастого формату Apache Arrow Parquet. Сформовано аналітичне ядро, що включає векторизацію текстів за допомогою методів обробки природної мови на базі модельного комплексу jinaai_v3, з контекстним вікном у 8192 токени, та дві прогнозні нейромережеві моделі: звичайний стохастичний класифікатор з логістичною функцією втрат й рекурентну нейронну мережу з пам’яттю та ковзним вікном. Розгорнуто веб-інтерфейс користувача на базі асинхронного фреймворку FastAPI, реактивної технології HTMX, шаблонізатора Jinja2 та графічної бібліотеки Chart.js, що забезпечує асинхронне оновлення дашборду без повного перезавантаження сторінок. Автоматизоване модульне тестування підтвердило цілісність дата сетів та стабільність пулу з'єднань. Експериментальна валідація моделей штучного інтелекту підтвердила суттєву перевагу глибокої рекурентної нейронної мережі з пам’яттю над базовим класифікатором: значення важливих для порівняння метрик валідації моделей показали значні зміни, у порівнянні між моделями. Експлуатаційні випробування довели скорочення часу фінансового аналізу активу з кількох годин до декількох хвилин та повну відповідність системи регламентованим нефункціональним вимогам швидкодії, надійності та зручності користувача у реальних ринкових умовах.