.png&blockId=b5405454-82f9-4254-b7a6-5e4484a7fafb&width=3600)
새로운 컨트롤러 형식을 선보이는 오큘러스 창립자 팔머 럭키(Palmer Luckey) (출처: WIRED)
“오큘러스 터치는 VR을 다음 세대로 이끌기 위해 만들어낸 한 쌍의 컨트롤러입니다. (Oculus touch is a pair of track controllers that we’ve created to take vr to the next level.)” - Palmer Luckey
2015년 Oculus의 창립자 팔머 럭키(Palmer Luckey)가 야심 차게 소개했던 새로운 형태의 컨트롤러는 이제 우리의 VR 일상 속에 완전히 녹아들었습니다. Vive, Meta, Pico 등 현존하는 절대다수의 VR 기기는 물리적인 형태의 컨트롤러를 채택하고 있으며, 대중의 인식 속 HMD와 컨트롤러는 ‘햄버거와 콜라’와 같이 영혼의 단짝으로 자리 잡았습니다.
컨트롤러의 사전적 정의는 ‘기계의 동작을 제어하는 장치’이며, VR에서의 컨트롤러는 실질적으로 HMD와 함께 사용하는 한 쌍의 입력 장치를 지칭합니다. 그런데, 과연 그 뿐일까요? VR의 컨트롤러는 왜 지금과 같은 형태를 띠고 있으며, 컨트롤러는 VR 경험에서 어떤 의미를 가지고 있을까요? 컨트롤러의 과거부터 미래까지, 이번 아티클 통해 함께 알아보고자 합니다.
VR 상호작용의 역사와 컨트롤러의 필요성
실제와 유사한 자극을 제공한 센소라마(Sensorama) (출처: HistoryOfInformation)
초창기 가상현실과 VR 기기는 상호작용보다는 ‘실제와 유사한 자극’을 제공하는 데에 초점이 맞추어져 있습니다. 1962년 등장한 부스 형태의 ‘센소라마(Sensorama)’는 입체 영상과 음향뿐만 아니라, 기상 상태 같은 대기 효과를 모방하여 당시 사람들에게 충격적인 몰입감을 제공하였으며, 1964년 ‘텔레스피어 마스크(Telesphere Mask)’는 가면의 형태에 입체 음향 기술을 접목하는 새로운 개념을 선보였습니다. 머리에 기기를 착용하는 패러다임은 현대 HMD(Head-Mounted Display)의 시초로도 볼 수 있죠.
하지만 곧 컨트롤러의 필요성이 대두되었습니다. 사람들은 단순히 가상 세계를 보고 싶은 것 이상으로 가상 세계와 ‘상호작용’하고 싶어 했으며, 이를 위해서는 가상 세계의 동작을 제어할 수 있는 ‘컨트롤러’가 필요했죠. 인간이 상호작용에 활용하는 가장 익숙하고도 강력한 도구는 단연 ‘손’이므로, 손의 위치를 추적하는 기술과 손을 매개로 하는 입력 방식은 자연스레 큰 발전을 이루었습니다.
1995년 출시된 버추얼 보이(Virtual Boy) (출처: Nintendo)
그중에서도 게임패드는 VR 상호작용에 자주 적용되는 기기 중 하나였습니다. 1995년 Nintendo에서 개발한 VR 게임기 ‘버추얼 보이(Virtual Boy)’는 거치형 디스플레이와 게임패드를 차용한, 다소 실험적인 형태를 보였습니다. 판매 성적은 좋지 않았지만, 콘솔 게임 기기에서만 활용되었던 컨트롤러의 또 다른 가능성을 엿볼 수 있었습니다.
Oculus에서도 새로운 컨트롤러 형식을 제안하기 전까지는 게임패드를 주요 입력 장치로 활용하였는데요. 2016년 오큘러스 리프트(Oculus Rift)의 기본 패키지에 포함되었던 ‘엑스박스 원 게임패드(Xbox One Gamepad)’는 이를 방증합니다. 이러한 게임패드의 특성은 현대의 VR 컨트롤러에도 자연스레 녹아들었으며, 조이스틱과 버튼 등의 구성에서 그 흔적을 찾을 수 있습니다.
상호작용 방식의 발전
현재 상용화된 상호작용 방식은 컨트롤러 방식과 인공지능 및 비전 기술을 활용한 핸드 트래킹 방식,크게 두 가지로 나뉩니다.
메타 퀘스트3의 컨트롤러 (출처: Meta)
HMD의 카메라로 작동하는 핸드트래킹 (출처: Meta)
현대의 컨트롤러는 대부분 2015년 공개된 오큘러스 터치(Oculus Touch)의 디자인을 계승하고 있습니다. 컨트롤러가 제공하는 정밀한 추적 기능과 물리적인 그립감(tangibility), 햅틱 피드백은 대체하기 어려운 강점으로 평가되고 있습니다. 특히 0(입력 X)과 1(입력 O)로 구분하기 쉬운 컨트롤러의 입력 방식은 게임 분야에 최적화된 방식이라 할 수 있으며, 이러한 특성은 이전의 여러 장점과 결합하여 현재까지도 게임 유저층 사이에서 압도적인 지지를 얻고 있습니다.
핸드 트래킹 방식은 다양한 추적 기술의 발달로 비교적 최근에 등장했습니다. HMD에 내장된 카메라를 통해 양손의 이미지를 캡처하고, 이를 분석하여 매 프레임마다 실제 손의 위치와 자세를 추론해 냅니다. 이러한 방식을 통해 사용자는 자신의 손을 가상 세계에 그대로 옮겨 놓고 움직일 수 있습니다. ‘손 그 자체를 컨트롤러로 활용’하는 것에서 오는 직관성은 기존의 컨트롤러 방식과 차별화되는 핸드 트래킹 방식만의 장점이라 할 수 있겠습니다.
미래의 컨트롤러는?
미래의 상호작용 방식은 어떻게 될까? (ChatGPT 생성)
현재의 상호작용 설계는 최선이라고 볼 수 있을까요? 메타 리얼리티 랩스(Meta Reality Labs)에서 2023년 발표한 관련 논문 [1] 에 따르면, 각 상호작용 방식의 단점을 다음과 같이 정리하고 있습니다.
•
컨트롤러: 필연적으로 손을 점유하는 특성의 ‘거추장스러움(encumbrance)’을 지적합니다. 컨트롤러 방식은 운동 등 특정 상황에서 비실용적이거나, 손을 필요로 하는 상황에서 활용하기 어려울 수 있습니다.
•
핸드 트래킹: 카메라 기반 추적 방식의 한계로 야기되는 ‘제한적인 팔 자세(constrained arm posture)’를 지적합니다. 상호작용을 위해서 사용자는 항상 팔을 뻗는 자세를 유지해야 하며, 이는 피로를 유발할 수 있습니다.
이렇듯, 각 방식 모두 아직 해결해야 하는 숙제가 남아있음을 확인할 수 있습니다. 그렇다면 현재 메타버스를 선도하는 기업들은 미래의 도화지에 어떤 컨트롤러를 그리고 있을까요?
비전 프로가 제공하는 상호작용으로 콘텐츠를 조작하는 모습 (출처: Apple)
최근 메타버스의 뜨거운 감자였던 Apple의 비전 프로(Vision Pro)는 물리적인 컨트롤러를 완전히 배제하여 핸드 트래킹과 아이 트래킹, 보이스 커맨드(Siri)만으로 구성된 새로운 상호작용 패러다임을 제시하였습니다. 두 눈의 시선이 머무는 지점을 마우스의 커서로, 손의 제스쳐를 마우스의 클릭으로 활용하는 비전 프로의 방식은 ‘눈을 컨트롤러로 활용’한 사례로 볼 수 있을 것입니다. 비록 눈의 피로 등 아쉬운 점 또한 일부 보고되고 있지만, 아직 1세대임을 고려할 때 충분한 발전 가능성을 기대할 수 있을 것으로 보입니다.
Meta의 근전도 측정 손목 밴드 (출처: VRTrailers)
Meta는 ‘손’과 관련한 새로운 컨트롤러를 연구 중입니다. 손목의 근전도(EMG)를 측정하는 손목 밴드는 뇌에서 손가락으로 전달되는 신경의 전기 신호를 감지하여 손의 위치와 포즈는 물론, 손에 어느 정도의 힘을 주는지까지 인식할 수 있다고 합니다. Meta는 해당 방식으로 ‘손의 미세한 움직임으로 복잡한 인터페이스를 정밀하게 조정할 수 있다’고 전한 바 있습니다. 손 자체를 컨트롤러로 활용한다는 점에서는 핸드 트래킹 방식과 동일하지만, 카메라를 기반으로 하는 기존 추적 방식의 한계를 넘을 수 있다는 점에서 본 연구의 의의를 확인할 수 있습니다.
최근 공개된 VR 트레드밀(러닝머신) HoloTile (출처: Walt Disney)
컨트롤러의 정의를 조금 더 확장하여 '사용자의 입력을 가상 세계에 반영하는 장치'로 본다면, 다음의 흥미로운 사례를 생각해볼 수 있겠습니다. 2024년 1월 디즈니가 공개한 홀로타일(HoloTile)은 다수의 원형 타일로 이루어진 VR 트레드밀입니다. 구체적인 작동 원리가 소개되진 않았지만, 사용자의 이동 방향에 따라 타일을 움직이는 방식을 통해 사용자의 자유로운 걸음을 구현하는 것으로 보입니다. 사용자의 발을 추적하여 이를 가상 세계의 이동 방식으로 활용하는 측면에서 생각해 본다면, 홀로타일과 같은 VR 트레드밀 또한 일종의 컨트롤러로 볼 수 있지 않을까요?
컨트롤러의 목적은 궁극적으로 ‘사용자의 의지를 가상 세계에 반영하고, 가상 세계를 사용자에게 인식시키는 것’에 있다고 생각합니다. 전자는 가상 아바타와 신체 사이의 제약없는 완전한 동기화를 통해, 후자는 가상 물체에 대한 현실적인 촉각 피드백을 제공함으로써 실현될 수 있을 것입니다. 이를 위해 햅틱 기술, BCI(Brain-Computer Interface) 등 다양한 방법론이 연구되고 있지만, 현존하는 컨트롤러로 둘 모두를 충족시키기에는 역부족인 것이 사실입니다. 다만 기술이 눈부시게 빠른 속도로 발전하고 있는 만큼, 기대를 접기에는 아직 이릅니다.
컨트롤러는 왜 컨트롤러일까요? 이에 대한 딱 맞는 답을 찾긴 어렵겠지만, 한 가지 확실한 점은 우리가 가상 세계를 온전히 즐기기 위해서는 컨트롤러와 같은 상호작용 방식이 필수적이라는 것입니다. 이러한 상호작용 방식은 우리의 의지를 가상 세계에 더 분명하게 투사할 수 있도록, 가상 세계를 더 선명하게 느낄 수 있도록 진화하고 있습니다. 앞으로 다가올 미래에는 과연 어떤 상호작용이 우리를 더욱 설레게 만들어 줄 수 있을까요? 언젠가 가상 세계에 직접 발을 내딛는 그날을 꿈꾸며, 글을 마칩니다. 감사합니다.
[작성자: XREAL 김윤찬]
참고 자료
[1] Fashimpaur, Jacqui, et al. "Investigating Wrist Deflection Scrolling Techniques for Extended Reality." Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 2023.