earticle

영어

Digital technology has given rise to new media forms. Adaptive mixed reality (AMR) is a new emerging type of media that explores various approaches to combine natural environment with immersive display technology. In the AMR space, several objects interact in numerous ways which may lead to inconsistencies. Therefore, we have designed a cost-effective and robust communication framework that allows synchronized interaction in real time among different modules of the AMR space. The proposed system consists of Agent-Mediator communication framework. Each smart media agent (SMA) in AMR space has its own data processing, management and visualization units. It has its own copy of all the contents of the scene and renders the whole scene locally. SMA processes the data received from various input embedded devices (e.g. cameras, mic etc.) and updates the local model by reflecting the immersive contents on media walls. SMA maintains synchronization locally by displaying that part of the scene specified by the Mediator as well as transmits the information and raw-data to the Mediator for further processing. Mediator receives data from several SMAs and conducts comparative analysis to select appropriate information for maintaining single and coherent global view of the AMR space. It updates the global view by sharing the synchronized updated status with other SMAs in AMR space. Various experiments have been conducted to evaluate the synchronization and efficiency of the scene displayed on different smart media walls. The effect of gestures/poses recognition has also been assessed in AMR space using the proposed communication framework. Extensive experimental results validate that the proposed communication framework provides a real time interaction with immersive contents and maintain single and synchronized view of the scene in the AMR space.

한국어

디지털 기술은 새로운 형태의 미디어로 끊임없이 진화 중에 있다. 적응형 혼합 현실(AMR)은, 몰입형 시각화 기술과 실제 물리적 환경과의 혼합을 위한 신 개념의 미디어 타입이다. AMR공간에서는, 다양한 자원들이 정해진 규칙에 의해서 단일성을 가지고 표현되는 것이 아니라, 다양한 특수성을 고려하여 자연스러운 상호작용이 가능해야한다. 따라서 본 논문에서는 AMR 공간을 구성하는 다양한 모듈간의 실시간 동기화를 위한 고효율의 강건한 통신 프레임워크를 설계하였다. 본 논문에서 제안하는 시스템은 Agent-Mediator 통신 프레임워크로 구성되었으며, 각 Smart Media Agent(SMA)는 내부적으로 데이터 처리, 관리 및 시각화 기능을 포함하고 있다. 콘텐츠의 모든 장면은 자동 백업되며, AMR 공간 내에서 지역적으로 분할 시각화가 이루어진다. SMA는 임베디드 장치의 입력 데이터 처리 결과와, 각 Media Wall의 몰입형 콘텐츠 정보를 반영하여 로컬 모델에 업데이트 한다. Mediator는 각 SMA로부터 처리 결과 정보를 받아 AMR 공간에서의 통합 정보 시각화부에 해당되는 Global View에 대한 적절한 정보를 선택해 분석하는 일을 한다. 또한, Smart Media Wall의 장면 시각화 동기화 및 효율성 제고를 위하여 본 논문에서 제안한 통신 프레임워크 기반의 제스처 인식 실험이 이루어졌다. 실험 결과들은, 본 통신 프레임워크의 몰입형 콘텐츠와의 실시간 상호작용 효율성과, 동기화된 장면 정보의 강건함을 유지시킬 수 있음을 보여주었다.