Генеративна модель MST-GAN для покращення відео: якість, стабільність, ефективність

Анотація

У роботі розглянуто аналіз вдосконалення архітектури MST-GAN (Multi-Scale Temporal GAN) для задач відеосуперрезолюції, спрямоване на забезпечення високої візуальної якості, міжкадрової стабільності та ефективної роботи в реальному часі. Модель поєднує багатомасштабне вирівнювання ознак, часову агрегацію та генеративну генерацію кадрів з використанням гібридної функції втрат. Особливу увагу приділено забезпеченню стабільності навчання: попереднє навчання генератора без дискримінатора, поетапне включення часової узгодженості, застосування перцептивних критеріїв та регуляризаційних технік дозволили уникнути типових проблем генеративного навчання, зокрема нестабільної динаміки та втрати різноманіття. У процесі тренування модель адаптована до реалістичних сценаріїв відео, що дозволяє їй зберігати якість навіть у складних сценах з динамічними об’єктами. Також описано низку апаратних оптимізацій, що включають структурне прорідження моделі, квантування ваг у формат INT8, компіляцію в TensorRT та організацію потокової обробки кадрів. У результаті MST-GAN досягла значного прискорення інференсу без помітної втрати якості. Якісні приклади на авторських відеоданих (зокрема, сцена з активним рухом) демонструють переваги моделі у збереженні текстур і плавності руху, порівняно з класичними методами збільшення зображення. На відміну від конкурентних підходів, MST-GAN дозволяє уникнути характерного «миготіння» та забезпечує природну передачу динаміки сцени. Отримані результати свідчать про придатність MST-GAN для використання у практичних системах відеопокращення, зокрема у відеострімах, моніторингових системах, AR-застосунках, де поєднання якості, стабільності та швидкодії є критично важливим.