Розробка моделей дифузії для генерації відеопослідовностей

Анотація

У цій статті представлено програмну реалізацію для генерації коротких відеопослідовностей на центральному процесорі (ЦП). Розроблено уніфікований інтерфейс для навчання компактної дифузійної моделі в піксельному просторі та застосування попередньо навчених моделей Stable Video Diffusion і CogVideoX. Навчальна модель використовує тривимірні згортки, обумовлення за кроком дифузії та мінімізацію помилки прогнозування шуму. Реалізовано методи вибірки на основі стохастичної ймовірнісної моделі дифузії з усуненням шуму (DDPM) та детермінованої неявної моделі дифузії з усуненням шуму (DDIM). Описано математичне формулювання, архітектуру мережі, параметри виконання, процедури експорту та діагностичне оцінювання. Представлено архітектуру програмного конвеєра для генерації відеопослідовностей на центральному процесорі. Система включає три альтернативні гілки: навчання та застосування компактної дифузійної моделі, генерацію відео із зображення та генерацію відео за текстовим описом. Усі гілки використовують спільні процедури експорту, оцінювання та моніторингу обчислювальних ресурсів. Аналітично виведено залежність кількості параметрів від ширини мережі та порівняно кількість викликів модуля усунення шуму для різних схем вибірки. Запропоновано протокол оцінювання компромісу між обчислювальними витратами та характеристиками відео. Наведено результати попереднього тестування («smoke test») компактної моделі, що включало дві ітерації навчання та генерацію чотирьох кадрів розміром 8×8 пікселів. Тест підтвердив успішне виконання конвеєра, проте не продемонстрував формування узгодженої динаміки чи переваг над іншими моделями. Ця робота займає інженерно-методологічну нішу: вона поєднує навчання невеликої ймовірнісної моделі дифузії з усуненням шуму в піксельному просторі із застосуванням попередньо навчених моделей Stable Video Diffusion і CogVideoX, забезпечуючи при цьому збереження результатів і звітів про використання ресурсів. Її внеском є прозора реалізація та відтворюваний дослідницький протокол; питання переваги над великими моделями потребує окремої експериментальної перевірки.