HIGH-LEVEL ARCHITECTURE OF MULSEMEDIA SOFTWARE SYSTEM
ВИСОКОРІВНЕВА АРХІТЕКТУРА МУЛЬСЕМЕДІЙНОЇ ПРОГРАМНОЇ СИСТЕМИ
Сторінки: 121-125 . Номер: №5,т.2 2023 (327)
Автори:
YEVGENIYA SULEMA
Igor Sikorsky Kyiv Polytechnic Institute
ORCID ID: 0000-0001-7871-9806
email: sulema@pzks.fpm.kpi.ua
DMYTRO RVACH
Igor Sikorsky Kyiv Polytechnic Institute
ORCID ID: 0000-0002-1461-1086
email: rvach@pzks.fpm.kpi.ua
ЄВГЕНІЯ СУЛЕМА
Київський політехнічний інститут імені Ігоря Сікорського
ORCID ID: 0000-0001-7871-9806
email: sulema@pzks.fpm.kpi.ua
ДМИТРО РВАЧ
Київський політехнічний інститут імені Ігоря Сікорського
ORCID ID: 0000-0002-1461-1086
email: rvach@pzks.fpm.kpi.ua
DOI: https://www.doi.org/10.31891/2307-5732-2023-327-5-121-125
Анотація мовою англійською мовою
This paper delves deep into the creation of a unified, high-level architecture for an emerging category of software known as mulsemedia software. Mulsemedia, a term that connects ‘multimedia’ and ‘sensory’, refers to an extended version of multimedia. Unlike traditional multimedia which primarily focuses on visual and auditory data, mulsemedia encompasses a broader spectrum of temporal multimodal data. A core component of this concept is the mulsemedia object, essentially a physical entity monitored by a computer system. This is done through the integration of various sensors, aimed at capturing a comprehensive digital representation of the object. The goal is to have this digital description be so intricate and detailed that it mirrors the human sensory experience when perceiving the object. Mulsemedia software, therefore, can be understood as an application that specializes in handling this rich, temporal multimodal data, providing a holistic view of the mulsemedia object. The software landscape already features categories that align with the mulsemedia software system, notably the digital twin platforms and metaverse applications. However, mulsemedia stands out as a relatively new concept, and thus there’s a pressing need to establish novel methodologies to develop software that can efficiently and effectively interact with diverse modalities of mulsemedia data. The primary focus of this research is centred on conceptualizing and formulating a high-level architecture tailored for mulsemedia software. This architecture, while robust in its design principles, boasts versatility, making it seamlessly adaptable across a myriad of application scenarios and use cases. Such a foundational architecture will pave the way for future advancements in mulsemedia software development, fostering innovation in this burgeoning field.
Keywords: mulsemedia, software architecture, metaverse, digital twins.
Розширена анотація українською мовою
Ця стаття присвячена розробленню уніфікованої високорівневої архітектури нового класу програмного забезпечення – мульсемедійного програмного забезпечення. Цей клас програмного забезпечення працює з даними, які визначають розширене мультимедіа, також відоме як мульсемедіа. Концепція мульсемедіа передбачає роботу з темпоральними мультимодальними даними, що описують мульсемедійний об’єкт, який є фізичним об’єктом, що контролюється комп’ютерною системою за допомогою набору сенсорів для формування мультимодального цифрового опису, який визначає об’єкт настільки комплексно, як його може сприйняти людина через свої органи чуття. Таким чином, мульсемедійне програмне забезпечення – це програмна система, яка працює з темпоральними мультимодальними даними, що визначають мульсемедійний об’єкт. Спорідненими до мульсемедійних програмних систем класами програмного забезпечення є платформи цифрових двійників та застосунки метаверсу. Мульсемедіа є відносно новою концепцією, і вона вимагає створення нових підходів до розроблення програмних застосунків, які працюють з мульсемедійними даними різних модальностей. Дослідження, представлене у цій статті, зосереджено на розробленні архітектури високого рівня, яку можна легко застосувати до різних випадків використання.
Ключові слова: мульсемедіа, архітектура програмного забезпечення, метаверс, цифрові двійники.
