정의
XR(eXtended Reailty)는 확장 현실의 약자로, VR과 AR을 모두 포괄하는 개념으로 쓰인다. MR(Mixed Reality, 혼합 현실)과 때론 혼동되기도 하지만, MR은 XR에 포함된 개념으로서 AR과 VR이 혼합된 기술을 지칭할 때 사용하는 것이 일반적이다.
[이미지 출처] Interaction Design Foundation
XR은 AR, VR, MR 뿐만 아니라 증강 가상 콘텐츠 생성을 가능하게 하는 H/W, S/W, 인터페이스 등의 기술을 포함하여 현실과 상호작용이 가능하도록 초실감을 제공한다. XR은 현실과 가상 간의 상호작용이 강화되어 현실 공간에 배치된 가상의 물체를 만져 보는 간접 체험이 가능하다. 가령, 헤드셋을 쓰지 않아도 360도의 가상 뷰를 체험할 수 있으며, 공간음향 제공을 통해 실제와 같이 자연스러운 체험을 제공한다. 마이크로소프트(MS)가 개발한 홀로렌즈2는 안경 형태이지만 현실 공간과 사물 정보를 파악해 최적화된 3D 홀로그램을 표시한다.*
XR 콘텐츠 제작 영역에서 가장 중요한 것은 제작 레퍼런스, 실시간 3D 렌더링 기술력 및 버추얼 프로덕션 인프라다. CG/VFX 기술 업체들은 그동안 쌓아올린 다양한 디지털 에셋을 바탕으로 자체 스튜디오 설립 및 인수로 드라마, 영화, 게임, 광고 등 다양한 장르의 콘텐츠를 제작할 수 있는 역량을 확보했다. 또한 3D 렌더링을 위한 게임엔진의 자체 플러그인을 개발하며 실시간 콘텐츠 제작을 위한 기반 기술을 마련했다. 버추얼 프로덕션 인프라를 통해 디지털 에셋과 가상 공간을 현실과 연결하는 환경을 구축했다.*
소프트웨어 측면을 고려하면 XR 콘텐츠를 개발하기 위한 개별적인 저작도구 개발에 비해 개발 기간을 단축시킬 수 있는 개발 엔진을 사용하는 사례가 확대되고 있다. 대표적인 개발 엔진으로는 게임이나 3D 애니메이션 개발에 널리 쓰이고 있는 Unity, 고품질 콘텐츠를 개발하기 위한 Unreal, 웹 기반이나 접근성을 높이고 표준화된 콘텐츠를 개발하기 위한 OpenXR 등이 있다.*
삼성증권 리서치센터 비즈니스팀. (2022). 메타버스, XR로 꽃피우다 [사진].
XR 기술 개발 동향*
생성
XR 콘텐츠 생성 기술은 영상, 오디오, 가상 객체, 공간 및 환경 데이터 등을 생성하기 위한 기술로 다양한 장치를 통하여 실세계 정보들을 디지털화(획득, 분석, 처리)하는 기술이다. 최근에는 디지털 트윈 기술의 성장으로 사물과 공간에 대해 3D 형상을 복제하여 XR 콘텐츠를 생성하는 기술의 연구가 활발하게 진행중이다.
가시화
생성된 실감 콘텐츠를 표현하기 위한 소프트웨어 및 하드웨어 기술로 렌더링 기술과 XR 디스플레이 기술로 구성된다. 렌더링 기술은 XR 콘텐츠를 사용자에게 전달하는데 필요한 데이터 변환 기술들과 3D 콘텐츠를 실감 디스플레이에 재현하기 위한 후 처리 기술들을 포함하며 방대한 양의 렌더링 계산을 효율적으로 수행할 수 있는 알고리즘과 병렬처리 하드웨어의 개발이 진행중이다. NVIDIA는 가속화 레이트레이싱과 AI 가속화 노이즈 제거를 통해 8K 콘텐츠의 고속 렌터링이 가능한 Quadro RTX 기술을 개발 하였다. AMD는 강력한 물리기반 렌더링 엔진 기술인 Radeon ProRender 솔루션을 개발하였다.
XR 디스플레이 기술은 XR 콘텐츠를 다양한 디스플레이 장치에 가시화하기 위한 하드웨어 기술로 광시야각, 고해상도, 지연시간을 줄이고, 시인성 확보를 위한 기술 개발을 추진 중이다. XR 기기는 소형·경량화 및 착용성 개선을 위한 연구개발과 디스플레이의 품질을 향상시키기 위해 MTP (Motion to Photon) 저지연 기술, 야외 시인성 확보를 위한 기술 등 기술개발 추진 중이다.
인터랙션
XR 인터랙션 기술은 사용자가 XR 콘텐츠를 조작하고 그에 따라 콘텐츠가 반응하는데 필요한 기술로 사용자 정보(상황/환경/의도/상태/감정/오감)를 인식하고 가상 객체 및 공간과 상호작용하는 방법과 장치를 모두 포함한다. 특히 사용자의 상태와 상황을 자동으로 분석하여 XR 콘텐츠가 자동으로 변경됨으로써 가상의 객체와 사용자 간의 자연스러운 상호작용을 가능하게 하는 기술이다.
가상공간 콘텐츠를 체험하는 사용자에 대한 위치, 시선, 동작 데이터 등을 추적하고 휴먼팩터 및 관심도 추출/분석 등의 연구개발이 활발하게 진행 중이다.
위치 트래킹 기술은 6DoF(Degree of Freedom)구현을 위해 GPS, IMU, RFID,무선센서 등이 결합된 하이브리드 위치 추적 기술의 연구가 활발하여, 특히 퀄컴은 빠르고 정확한 6DoF 자세를 추적하는 VIO (Visual Inertial odometry) 기술을 개발하여 자사의 스냅드래곤 모바일 플랫폼에 탑재하여 기술을 공급하고 있다. Eye Tracker 기술은 크게 Screen based Eye Tracker 와 Wearable Eye Tracker로 분류되는데, Tobii사는 3세대 웨어러블 아이트래커인 Tobii Pro Glasses 3를 개발하여 상용화하였다.
플랫폼
XR 콘텐츠를 저작·개발하고 다양한 산업에 융합하여 사용할 수 있도록 지원하는 플랫폼 기술로 협업·공유 플랫폼, 엣지 클라우드 플랫폼 및 저작·개발 플랫폼이 포함된다. 협업공유 플랫폼은 복수의 사용자가 참여하는 서비스 환경을 구성하여 협업을 제공하는 기술로 5G를 포함한 유무선 네트워크 기반 클라우드 환경에서 안정적으로 대용량 실감 콘텐츠를 전송하고 협업 작업이 가능한 기술을 개발하고 있다. 대표적인 서비스는 홀로렌즈를 이용한 마이크로소프트의 Remote Assist와 산업용 XR솔루션 전문기업인 PCT의 Vuforia Chalk가 있다.
엣지클라우드 플랫폼은 엣지 컴퓨팅을 기반으로 초저지연, 초실감 콘텐츠 서비스를 지원하며 5G 환경의 초실감, 초저지연, 초연결 효과를 극대화 할 수 있는 콘텐츠 서비스를 위한 엣지 클라우드 플랫폼 개발이 진행 중이다. 유럽의 표준협회 ETSI는 MEC(Mobile Edge Computing) 기반의 AR 서비스 시나리오를 포함한 서비스 시나리오 표준 문서(ETSI GS MEC-IEG 004)를 공개한 바 있다.
XR 콘텐츠 개발 플랫폼으로는 손쉬운 콘텐츠 개발을 지원하는 개발 도구를 제공한다. 구글의 ‘ARCore’와 애플 ‘ARKit’은 모바일 기반의 개발 도구를 제공하여 초기 AR 시장 활성화에 기여하였다.
S. Pin Technology Corp. All rights reserved.산업규모
오세윤.(2020).VR · AR 기술을 활용한 사회문제 해결 기술개발 동향.한국통신학회지(정보와통신). [사진]
전 세계 VR/AR 시장규모는 고성장을 통한 지속적인 성장이 전망되며, 2019년 168억 달러에서 연평균 75.7%의 고성장을 통해 2025년 4,938억 달러의 시장규모가 형성 될 것으로 전망되고 있다. ARㆍVR 하드웨어 시장은 연평균 68.2%의 고성장이
예상되며, 전반적으로 VR 시장 규모가 큰 반면에 시장 성장성은 AR 시장이 190.1%로 상대적으로 높을 것으로 전망하고 있다.*
활용 사례
제조
의료
•
서지컬마인드(Sergical Mind): 백내장 수술, 의료용 인젝션 등의 의료 훈련 솔루션 회사
•
테트라시그넘(Tetra Signum): VR 심폐소생술 교육 솔루션
•
테크빌리지(Techvillage): 뇌질환 환자를 위한 VR 재활 치료 솔루션
•
교육
•
House of Languages VR: VR 환경에서 물체에 해당하는 단어를 직접 시각적으로 연관지으며, 여러 인터렉션을 통해 영어, 독일어, 스페인어 등을 배울 수 있는 VR 어플리케이션
•
CoSpaces Edu: 아이들이 직접 블록코딩, 물리엔진 기반으로 창작할 수 있는 VR/AR 기반 교육용 어플리케이션
엔터테인먼트
•
포켓몬 go
국방
•
국방부, 지도, 적 위치, 주요 아군 등의 정보를 포함하여 군인의 시야에 데이터를 투사하는 AR고글 제공
산업 규모
IT 산업 리서치 기관 카운터포인트리서치의 글로벌 XR(VR/AR) 예측에 따르면, 2024년 확장현실(XR) 헤드셋 출하량은 사상 최대인 390만 대 증가해 전년 동기 대비 두 자릿수 증가율을 기록할 것으로 예측되고 있다. Apple Vision Pro를 포함한 2024년 주요 출시작들은 2023년 메타와 소니가 각각 Meta Quest 3와 PlayStation VR2 출시로 만들어낸 모멘텀을 이어나갈 기조라는 해석이다.
1.
남현우. (2021). XR 기술과 메타버스 플랫폼 현황. 방송과 미디어, 26(3), 20.
2.
삼성증권 리서치센터 비즈니스팀. (2022). 메타버스, XR로 꽃피우다,
3.
이경택. (2020). XR(eXtended Reality) 융합 기술 동향. 한국통신학회지(정보와통신), 37(10), 17-22.
4.
이하나, 강소영. (2021). XR환경에서의 어포던스 요소가 사용자경험과 만족도에 미치는 영향. 한국디자인문화학회지, 27(3), 395-404.
5.
김기태. (2022). 실감 체험을 위한 공간기반 XR 콘텐츠 제작과 언리얼 엔진의 활용. 방송과 미디어, 27(4), 59-65.
6.
양기선, 조호령, 권태훈. (2022). 효율적인 XR제작을 위한 AR과 VR의 자연스러운 전환 합성 및 제어 UI 기술 개발. 한국방송미디어공학회 학술발표대회 논문집, (), 114-117.
7.
오세윤.(2020).VR · AR 기술을 활용한 사회문제 해결 기술개발 동향.한국통신학회지(정보와통신),37(10),11-12.