.jpg&blockId=bb131084-763d-49ea-80a3-bd7217916b8f&width=3600)
XR의 진화, 감각이 게임 체인저가 되다.
기술의 비약적인 발전은 오늘날 우리의 모든 것을 변화시켜 나가고 있습니다. 이와 더불어 가상현실, 증강현실 등 XR 분야에서의 다양한 시각 정보 처리 및 표현 기술은 기존에 경험하지 못했던 사용자 실감형 경험을 가능하게 합니다. 사실 이러한 가상 세계 기술도 초기에는 시각, 청각적 자극에 의존했으며, ‘발전된 영상’일 뿐이라는 비판을 피하지 못했는데요. 1992년, ‘메타버스’란 용어는 소설 《스노우 크래쉬》를 통해 세상에 등장했으며, 메타버스 서비스 로블록스, 제페토가 대표적인 예시입니다. 하지만 이들 서비스의 구동은 여전히 PC나 스마트폰에서 개인의 캐릭터를 조작하는 방식으로 진행되었으며, 사용자가 가상세계에서 실제로 움직이고 느끼는 수준의, ‘이상’과는 거리가 있었습니다.
이미지 출처: pixabay
상상이 현실로 이루어지는 곳, ‘오아시스(oasis)’
현실과 같은 가상세계를 구현하려면 XR 기기의 ‘상호작용’ 기능의 발전은 필수적입니다. 몸을 움직이면 가상세계 속의 ‘나’도 똑같이 움직이고, 가상세계에서 느끼는 감각을 현실에서도 그대로 느껴야 한다는 이야기죠.
이미지 출처: 영화 ‘레디 플레이어 원’
2018년 개봉한 스티븐 스필버그(Steven Spielberg) 감독의 영화 ‘레디 플레이어 원(Ready Player One)’은 XR게임과 콘텐츠 시장의 미래를 가장 잘 보여준 영화로 꼽힙니다. 영화상에서는 다소 암울하게 그려진 근 미래에 가상현실(VR)을 통해 새로운 세상이 펼쳐지고, 뭐든지 할 수 있는 그곳을 ‘오아시스’라고 부릅니다. 오아시스에서는 사람의 오감, 즉, 시각, 청각, 후각, 미각, 촉각의 신호를 디지털 가상현실 신호로 대체함으로써 사람들이 게임 속을 현실처럼 느끼며 살아갑니다. 우리의 뇌가 원래 가지고 있는 통신 시스템, 즉 오감을 통해서 뇌와 통신하는 것이죠.
주인공 ‘웨이드’는 친척 집에 얹혀 살며 특별한 직업도 없고 미래도 없는, 그저 그런 소년이지만 오아시스에서는 캐릭터 ‘파시발’로 변신하여 원하는 것은 무엇이든 할 수 있습니다. 실제 현실에서의 웨이드의 동작이 가상현실의 파시발에 고스란히 반영되고, 반대로 가상현실에서 움직이고자 하면 실제 현실에서도 움직여야 합니다. 그래서 웨이드는 오아시스에서 빠르게 달리기 위해 실제로 트레드밀 위를 열심히 달리고, 파시발이 오아시스에서 맞으면 똑같이 고통을 느끼죠.
영화는 우리의 상상력을 화면에 보여주는 우리 뇌 창의력의 산물입니다. 그런데 이처럼 영화에 나오는 모습과 우리의 현실에는 얼마나 큰 간극이 존재할까요? 뇌 질환이 급속도로 늘어나고 있는 오늘의 현실은 공상 과학 영화 속 즉각적인 학습, 아바타 조종 같은 미래가 아직 먼 일이라는 것을 간접적으로 알려줍니다. 그 이유는 우리가 아직 뇌 회로의 동작을 이해하지 못했기 때문이며, 그만큼 뇌 회로의 동작을 밝히는 건 매우 어려운 문제입니다. 그러나, 그렇다고 해서 그 이해가 아주 멀리 있지도 않습니다. 우리는 높은 몰입감(Immersive), 상호작용(Interactive), 지능화(Intelligence)의 “3I” 요소를 통해 높은 현실감과 사용자 경험의 영역을 확장시키기 위해 부단히 노력하고 있으며, 오감을 자극하는 기술들이 대거 개발되고, 상용화되어 새로운 초실감 시대를 이끌고 있습니다.
촉각 피드백: 현실과 가상의 경계를 허무는 순간
이미지 출처: 영화 ‘레디 플레이어 원’
영화 레디 플레이어 원의 오아시스 속에서 누군가 파시발을 만지면 현실세계의 수트가 파란 빛을 발하며 웨이드에게 신호를 전달합니다. 가상세계에서 물건에 부딪치면 조끼 모양의 슈트를 통해 아픔이 전해지는 장면이 나오기도 하죠. 현실에서는 국내 스타트업 비햅틱스(Bhaptics)의 ‘택트슈트(Tactsuit) X40’가 바로 이러한 경험을 가능하게 합니다. 택트슈트를 이해하기 위해서는 햅틱(haptic) 기술의 이해가 선행되어야 하는데요. 햅틱이란 전자기기가 생성하는 촉각 피드백을 통해 사용자에게 정보를 전달하는 기술로 정의되는데, 쉽게 스마트폰에서 울리는 진동 알림을 생각해볼 수 있습니다. 우리는 햅틱의 역할 덕분에 짧은 수신은 알림이며 긴 수신음은 전화라는 것을 주머니 속에서 느낄 수 있게 되었죠. 각각의 울림과 진동은 고유한 의미를 가지며, 이는 사용자 경험의 핵심으로 성장하였습니다. 이에 더해 더 세밀하고 전신에 걸친 피드백을 제공하며, 가상현실 속 보다 더 몰입적인 경험을 목표로 햅틱 기술을 응용하고, 발전시킨 것이 바로 비햅틱스의 택트슈트입니다.
이미지 출처: Bhaptics
택트슈트 X40는 전자기기가 생성하는 40개 이상의 촉각 피드백 모터를 통해 300개 이상의 촉각 패턴을 지원하여 강력한 촉각 피드백을 제공하며, 가상현실 속 몰입감을 극대화합니다. 이제 사용자는 가상 전투에서 피격을 당하거나 벽을 타고 넘어가는 동작 등을 할 때 해당 부위에서 즉각적인 진동을 느낄 수 있으며, 폭발 장면이나 액션 씬에서 발생하는 충격을 전신으로 전달받을 수 있습니다. 사용자가 가상 세계에서 실제와 같은 감각을 느낄 수 있게 된 것이죠.
이미지 출처: CGV
가상세계 속 환경과의 상호작용은 어떨까요? 체험형 영화 상영 시스템 4DX는 모션체어(Motion Chair)와 특수 환경장비를 극장에 도입함으로써 영화 장면에 따라 의자가 움직이거나 바람이 불고 향기를 내어 관람객들이 4D 영화를 '경험(eXperience)'할 수 있도록 합니다. 이러한 4DX와 가상세계(VR) 시스템을 결합한 세계 최초의 4DX VR 영화 ‘기억을 만나다’가 한국에서 개봉되기도 했는데요. 이는 입체적인 움직임과 바람, 향기 등의 촉각 감지를 통해 영화의 몰입도를 더욱 높이기 위한 도전으로, 전반적으로 아쉬운 관람평들을 차치해도 4DX VR이라는 포맷에 대한 가능성은 충분히 확인할 수 있었습니다.
이미지 출처: indiegogo
이를 영화 밖 3인칭 관찰자 시점에서의 한계에서 벗어나, 1인칭 주인공 시점인 가상세계에서 가능케 한 것이 바로 Feelreal Mask입니다. Feelreal은 세계 최초 멀티센서리(다감각) 마스크로 오큘러스 리프트, 삼성 기어 VR, 소니 플레이스테이션 VR 등 VR 기기에 부착해서 사용합니다. 이 마스크에는 쿨링팬, 마이크로 히터가 탑재되어 가상세계 속 바람이 부는 장면이나 겨울이 배경이면 찬 바람을 만들어주며, 한낮이나 사막이면 더운 공기를 내보냅니다. 이제 사용자는 가상세계 속 환경을 단순히 입체적으로 볼 수 있다는 것을 넘어 비, 바람, 물안개, 열까지 감지할 수 있게 되었습니다.
냄새로 완성하는 새로운 차원의 몰입감
이미지 출처: indiegogo
그뿐만 아니라 Feelreal Mask는 가상세계의 냄새 구현, 즉 사용자의 후각 또한 자극합니다. 이 마스크는 가상현실 상황에 맞춰 숲에선 나무나 풀의 향기, 전투 장면에서는 화약 냄새 등을 내뿜으며 사용자의 몰입감을 향상시켜줍니다. 예를 들어, 사용자가 퀘스트를 깨기 위해 가상 세계 속 동굴에 도착했는데, 앞에서 매우 찝찝한 악취가 난다면 공포, 불안함, 불쾌함 등의 감정은 배가 될 것이고, 이는 몰입감 넘치는 사용자 경험에 중요한 역할을 합니다. 물론 세상의 모든 냄새를 구현해주는 것은 아니고 향수, 바비큐, 고무 타는 냄새, 나무 타는 냄새, 티라미수, 장미, 커피, 화약냄새, 숲속 냄새 등의 향 캡슐이 포함된 카트리지를 마스크 안에 장착하면 필요에 따라 해당 향을 전달해주는 방식입니다.
하지만 무거운 카트리지를 장착하고 내장된 물을 분사하는 Feelreal의 시스템은 무거운 무게, 불편한 착용감 등의 문제를 유발하며 VR기기 자체의 무게도 상당하다보니 이는 사용자에게 치명적 문제로 다가올 수 있습니다. OVR Technology의 아이온(ION) 장치는 후각 기능에 집중하고 있어 상대적으로 더 가볍고 단순한 구조로 설계되어 있지만 여전히 제한적인 향기의 범위와 종류, 카트리지 교체의 번거로움, 무거운 무게, 큰 부피 등의 한계가 있었죠. 그렇다면 가상현실 속 냄새는 어떻게 구현되어가고 있을까요?
이미지 출처: 123RF
인간에게 강렬한 감정을 불러 일으키는 가장 원초적 감각인 후각을 활용하려는 시도는 과거부터 다양하게 이뤄져 왔습니다. 쉽게는 매장에 구매를 부추기는 기분 좋은 향을 뿌려놓는 것을 예로 들 수 있죠. 다만 후각은 시청각 미디어와는 달리 원하는 순간에 원하는 대로 표현하기가 힘들기 때문에 이용 범위가 제한적인데요. 그럼에도 최근 디지털 기술의 발달에 힘입어 실제와 똑같은 수준의 가상 경험을 제공하려는 가상현실, 증강현실이 현실화된 지금, 후각을 재현하고 활용하는 기술에 대한 관심은 매우 높아졌고, 이에 대한 연구가 계속되고 있습니다.
이에 관해 주목해볼 만한 연구로는 중국 베이징 베이항대와 홍콩시티대 연구팀의 웨어러블 후각 발생 장치를 꼽을 수 있습니다. 이 연구팀은 VR에 무선으로 연결해 특정 공간에서 냄새를 빠르고 정확하게 생성, 사용자에게 더욱 몰입감 있고 사실적인 사용자 경험을 제공할 수 있는 냄새 생성기를 개발했습니다.
이미지 출처: Nature Communications 논문 캡처.
연구팀은 두 가지 형식의 장치를 제작했는데, 하나는 코 아래 피부에 직접 붙이는 밀리미터 크기의 장치이고 다른 하나는 9가지 냄새를 만들어낼 수 있는 부드러운 마스크 형태의 장치입니다. 두 종류 모두 기존의 실용성 문제를 해결하기 위한 것으로 원리는 동일한데요. 파인애플, 생강, 녹차, 캐러멜, 사탕 등 30가지의 다양한 냄새를 선택해 맞춤형으로 사용할 수 있으며, 안에는 향이 나는 파라핀 왁스가 들어 있어 가열하면 1.44초 만에 특정 냄새를 특정 공간에 방출합니다. 이 연구는 아직 상용화 초기 단계에 있지만 XR 분야에서 매우 중요한 혁신으로 간주되며, 향후 마케팅, 치료, 게임, 교육 등 다양한 분야에서 응용될 수 있으리라 기대됩니다.
가상세계에서 음식을 맛볼 수 있다고?
가상현실의 한 장면입니다. 같이 현장감을 높이는 포인트 4가지를 찾아봅시다.
당신은 지금 영국의 뒷골목을 걷고 있습니다.
오른쪽에서 주점의 시끌벅적한 소리가 들립니다.
술 한 잔 할까? 한발짝 한발짝 가까워질수록 손님들의 목소리가 커집니다.
문을 열자 알코올 냄새가 훅 풍겨옵니다. 시원한 맥주의 쓴 맛이 하루의 시름을 달래주네요.
그런데 옆에 앉은 남자가 취했는지 내 쪽으로 넘어졌습니다.
왼쪽 다리에 묵직한 통증이 느껴집니다.
자, 찾으셨나요? 1) 소리의 방향과 크기의 변화 2) 알코올 냄새 3) 묵직한 통증 4) 맥주의 쓴 맛. 즉, 청각, 후각, 촉각, 미각입니다. 그럼 이제 남은 건 미각의 확장이죠.
여러분은 증강 현실세계에서 음식을 맛보고 얼마 후 방문할 레스토랑과 메뉴를 미리 선택하는 것이 가능한 세계를 상상해보신 적 있나요? 상상조차 하기 힘든 이러한 기술이 상용화된다면 그 파급력은 어마어마할 것입니다. VRChat 같은 가상 현실에서 가상 핫도그를 주문하고, 집어 들고, 볼 수는 있지만 아직 그 맛을 느낄 수는 없습니다. 이러한 맛을 재현하는 기술은 오랫동안 엔지니어와 과학자들이 연구해온 주제이기도 하죠. 맛은 아주 복잡한 감각입니다. 혀에는 ‘미뢰’라는 감각 세포들이 있어서 우리가 음식을 먹을 때 맛을 느끼게 해줍니다. 그래서 다양한 맛을 재현하려면, 프린터가 몇 가지 기본 색을 섞어 다양한 색을 만드는 것처럼, 몇 가지 기본 맛(단맛, 쓴맛, 짠맛, 신맛, 감칠맛, 지방맛)의 성분을 섞어 혀에 전달하는 방식을 생각해볼 수도 있습니다. 하지만 실제로는 그런 복잡한 방식이 필요하지 않을 수도 있는데요. 연구자들이 전기나 열 자극을 통해서도 맛을 느낄 수 있다는 사실을 발견했기 때문이죠.
이미지 출처: smithsonian magazine
이와 관련해 National University of Singapore (NUS)의 연구진, Nimesha Ranasinghe(니메샤 라나싱헤) 교수와 그의 팀의 전기 자극 연구는 매우 흥미롭습니다. 연구팀은 혀에 소량의 전류를 흘려보내어 미뢰를 자극함으로써 다양한 맛을 시뮬레이션하는 기술을 개발했으며, 이 방식은 미각이 화학 물질에 의해 유발된다는 기존의 개념을 뛰어넘어 전류와 열 자극만으로도 맛을 느낄 수 있다는 사실을 바탕으로 합니다. 이들은 소금이 전혀 들어있지 않은 감자는 전극이 내장된 젓가락을 통해 크리미하고 짭짤한 으깬 감자로, 맹물은 전류를 통해 레모네이드로 만드는 데 성공했죠.
이미지 출처: Keio-NUS CUTE Center
연구팀은 또한 Virtual Cocktail(Vocktail)이라는 프로젝트를 통해 가상 음료를 개발하기도 했습니다. 이 프로젝트에서는 전극과 향기 카트리지, LED 조명을 사용해 사용자가 가상의 칵테일을 마시면서 맛, 향기, 색상까지 모두 느낄 수 있도록 하여 새로운 미각 경험을 할 수 있게끔 했습니다.
Nimesha Ranasinghe(니메샤 라나싱헤) 연구에 따르면 단맛, 짠맛, 신맛과 같은 맛은 혀의 특정 부위에 전기 자극을 가함으로써 시뮬레이션할 수 있으며, 단맛은 특히 역전류 메커니즘을 통해 유도된다는 중요한 발견이 있었습니다. 이러한 기술은 아직 상용화되기에는 초기 단계이지만, 맛을 화학 물질 없이도 재현할 수 있다는 점에서 후각 확장과 더불어 미래 기술로서 큰 잠재력을 가지고 있습니다.
이미지 출처: Xinge Yu
이렇듯 가상현실을 현실처럼 느끼게 하는 감각 확장 기술들은 앞으로 더욱 발전하며, 우리의 상상력을 현실로 만들어낼 것입니다. 의료, 교육, 엔터테인먼트, 심리 치료 등 다양한 분야에서 혁신적인 변화를 가져올 잠재력을 가지고 있으며, 감각의 재현이 더욱 정교해질수록 XR 기술은 현실과 가상을 더욱 긴밀하게 연결해, 상상을 넘어서는 몰입감을 사용자에게 제공할 것입니다. 영화 레디 플레이어 원 속 오아시스처럼, 과연 우리가 꿈꾸던 완벽한 가상세계가 현실에서 구현될 수 있을까요? 그 실현될 미래를 기대하며, 이번 글 마치겠습니다.
[작성자: XREAL 장은비]
출처
