Життєвий цикл мультимодальних даних в інтелектуальній системі синхронного конспектування та семантичного аналізу матеріалів лекційних занять

Анотація

У статті теоретично обґрунтовано, формалізовано та розроблено наскрізний життєвий цикл мультимодальних даних в інтелектуальній системі підтримки навчального процесу. Визначено, що традиційне ручне конспектування та відокремлений аналіз записів створюють критичний когнітивний бар'єр через розрив між викладом матеріалу та його закріпленням, а також через відсутність надійного фактологічного зв'язку між відповідями штучного інтелекту та первинними матеріалами лекції. Запропоновано багатостадійну модель життєвого циклу мультимодальних даних: низькорівневе захоплення відеопотоку вікна презентації та звукового ряду мовлення викладача; адаптивну фільтрацію кадрів на основі попіксельного порівняння зображень кадру у відтінках сірого; сегментацію макета та оптичне розпізнавання тексту за гібридною нейромережевою архітектурою; просторово-часову синхронізацію аудіовізуальних потоків із похибкою менше двох секунд; координатно-часову паспортизацію знань структурованими дескрипторами; паралельне подвійне індексування у векторному та символьному просторах; синхронне потокове конспектування та організацію оперативного інтерактивного опитування під час заняття на базі реципрокного злиття рангів. На відміну від існуючих підходів, розроблена методика орієнтована на забезпечення можливості студента ставити запитання в реальному часі щодо викладеного фрагмента лекції безпосередньо в ході заняття та отримувати верифіковану відповідь із миттєвим переходом до точного слайда, візуального прямокутника та звукового інтервалу пояснення. Лабораторна стендова верифікація та розрахункові оцінки підтверджують ефективність запропонованих рішень: наскрізна затримка конвеєра обробки кадру становить триста сорок дві мілісекунди, середня затримка первинної відповіді складає чотириста двадцять мілісекунд, а архітектура забезпечує цільову повноту вилучення контексту вісімдесят дев'ять відсотків та знижує ризик формування тверджень, не підтверджених матеріалами поточного заняття.