.png&blockId=0caa2a2e-589b-4c19-9e1e-487434622146&width=3600)
여러분은 이 아티클을 어떻게 열었나요?
여러분은 이 아티클을 어떻게 열었나요? (출처: ChatGPT 생성)
이 아티클은 XREAL 뉴스레터 구독을 통해 여러분의 이메일로 발송되었습니다. 여러분들 중 대다수는 아마도 컴퓨터의 마우스 클릭을 통해 아티클을 확인하셨을 텐데요. 누군가는 핸드폰의 스크린 터치로, 또 다른 누군가는 노트북의 터치패드로, 가까운 미래에는 아이 트래킹과 핸드 제스쳐로도 같은 작업을 수행할 수 있겠습니다.
우리가 무의식적으로 처리하는 간단한 동작에도 실제로는 복잡한 절차가 요구된다는 사실, 알고 계셨나요? 이메일을 여는 동작은 매우 작고 사소해 보이지만, 세부적으로는 ‘뇌’가 손을, ‘손’이 마우스를, ‘마우스’가 커서를 조작하는 일련의 과정을 수행함으로써 비로소 달성될 수 있습니다. 우리가 이 과정을 인지하지 못하는 것은, 이미 같은 단계를 수없이 반복해 왔기 때문이겠죠.
사용자와 사용자 인터페이스, 시스템 간의 관계 (출처: tutorialspoint)
‘사용자 인터페이스(UI; User Interface)’란 사람과 컴퓨터 시스템 사이의 의사소통을 돕는 물리적, 또는 가상적 매개체를 의미합니다. 위에서 언급했던 핸드폰 스크린, 노트북 터치패드, 마우스, 커서, 버튼, 심지어 손까지 모두 일종의 인터페이스로 볼 수 있을 것입니다. 이러한 인터페이스는 컴퓨터와의 소통에 도움을 주지만, 적응하기까지 시간이 요구된다는 단점이 있습니다.
그런데 만약 이러한 단점이 없는 인터페이스가 있다면, 우리의 의도를 컴퓨터에게 직접 전달할 수 있다면 어떨까요? BCI(Brain-Computer Interface)는 우리의 ‘뇌’ 자체를 인터페이스로 활용하는 방법을 연구하는 학문입니다. 이를 활용하면 손이나 마우스 같은 별도의 인터페이스를 통할 필요 없이 오직 뇌만으로 커서를 조작할 수 있게 되는 것이죠. 이번 아티클에서는 미래에 유망한 기술 중 하나인 BCI의 기본 개념부터, 메타버스로의 확장 가능성에 대해 알아보고자 합니다.
BCI란?
일론 머스크의 BCI 기업 ‘뉴럴링크’ (출처: Neuralink)
원본 이미지(위)와 뇌 활동에서 예측된 이미지(아래) (출처: 오사카 대학[3])
BCI(Brain-Computer Interface)는 인간의 두뇌와 컴퓨터를 직접 연결하여 컴퓨터를 제어하는 인터페이스 기술을 총칭합니다. 여러분들에게 가장 익숙하실만한 일론 머스크의 ‘뉴럴링크’는 지난 5월 침습적 방식을 적용한 자사 제품 ‘링크’에 대해 전신마비 환자를 대상으로 첫 임상실험을 진행[1]하였습니다. 피실험자가 오직 생각만으로 마우스 커서를 조작하며 게임을 즐기는 영상은 많은 사람들에게 놀라움을 주었죠. 이 외에도 fMRI 데이터와 머신러닝을 통해 감정 패턴을 파악[2]하고, 이미지 생성 AI인 ‘스테이블 디퓨전’으로 생각을 이미지로 생성[3]하는 등 다방면에서 활발한 연구가 이어지고 있습니다.
뇌 신호 측정 기술을 시간 및 공간 해상도에 따라 나타낸 그래프 (출처: neurotechedu)
BCI를 구현하는 방식은 여러 가지가 있지만, 대부분 기계 장치를 통해 뇌의 활동 신호를 측정하고, 측정한 활동 데이터를 분석하며, 분석 결과를 바탕으로 입출력 장치에 최종 명령을 내리는 공통 단계를 거치게 됩니다. 뇌 활동 신호를 측정하기 위해 다양한 방식과 기술이 제안되어 왔으며, 여기에서는 각 방식과 기술에 대해 간단하게 소개드리고자 합니다. (더 자세한 내용은 여기를 참고해 주세요.)
•
뇌 활동 측정 방식
◦
침습적(Invasive): 미세 전극을 대뇌피질 안으로 삽입하여 뉴런 활동 신호를 직접 측정합니다. 수술로 두개골 내부에 전극을 직접 삽입해야 하는 위험 부담이 존재합니다. 마비, 실명 등 장애 케이스에 주로 적용됩니다.
◦
반침습적(Semi-invasive): 미세 전극을 뇌의 표면에 배치하여 신호(ECoG)를 측정합니다. 여전히 수술적 처치가 요구되지만, 후술할 비침습적 방식에 비해 높은 품질의 데이터를 얻을 수 있습니다.
◦
비침습적(Non-invasive): 두피, 또는 외부에서 신호(EEG, MEG 등)를 측정합니다. 안전하며 경제적이지만 위 두 가지 방식에 비해 측정 시 간섭이 심하여 데이터의 품질이 낮다는 한계가 있습니다.
•
뇌 활동 측정 기술
◦
EEG(Electro Encephalo Graphy): 뇌 활동으로 인해 발생하는 전기 신호를 측정합니다. 경제성, 하드웨어의 휴대성이 좋아 상업적 용도로 가장 자주 활용됩니다.
◦
MEG(Magneto Encephalo Graphy): 뇌 활동으로 인해 발생하는 자기장을 측정합니다.
◦
fNIRS/fMRI: 각각 근적외선과 MRI 기술을 활용하여 뇌의 혈류를 측정, 활동을 분석합니다.
◦
PET: 핵 영상 기술로, 뇌의 혈류, 신진대사, 신경 전달 물질 등의 과정을 관찰할 수 있습니다.
XR 기기와 BCI의 접목 시도
1955년 일본의 SF 애니메이션 영화 ‘공각기동대’의 전뇌 (출처: 나무위키)
근미래를 배경으로 한 SF 콘텐츠에서는 가상현실과 뇌 기술이 심심찮게 등장합니다. 일례로 일본의 SF 애니메이션 영화 ‘공각기동대’에서는 인간의 두뇌를 몸과 분리하여 컴퓨터화하는데, 이를 통해 별도의 장비 없이 네트워크에 연결하여 사람들과 원격 대화를 나누며, 임무 수행 시 작전 지도를 증강하는 등 미래적인 모습을 그려내기도 하였습니다.
이러한 장면들이 대중매체에 여럿 오르내리는 현상으로 미루어 짐작할 때, 두 기술의 융합은 어찌 보면 필연적일 수 있겠습니다. 실제로도 BCI 기술과 XR 기기를 접목하려는 시도는 다수 존재하는데, 여기에서는 그중 두 가지의 기기를 소개드리고자 합니다.
OpenBCI의 VR HMD, Galea
다양한 센서가 내장된 Galea (출처: OpenBCI)
OpenBCI의 Galea는 BCI 기반 VR 모듈 액세서리입니다. 이 기기의 특별한 점은 EEG(뇌파), EDA(피부전도도), PPG(산소포화도), fEMG(얼굴 근전도), 아이트래킹 센서를 포함한 통합 멀티모달 기술이 내장되어 있다는 것입니다. OpenBCI는 충분한 센서와 데이터를 바탕으로, 미래의 새로운 인터페이스를 개발할 수 있는 플랫폼을 만드는 것을 목표로 다양한 데모를 선보였습니다. 한 가지 짚고 넘어가야 하는 점은 Galea가 아직 프로토타입 단계에 있으며, 상업용보다는 연구용의 성격을 띠고 있다는 것입니다.
NextMind
작은 크기의 BCI 웨어러블 기기 NextMind
(출처: NextMind)
SSVEP 방식(우상단의 문양)을 적용한 상호작용 예시
(출처: Prans Lab)
동명의 회사에서 출시되었던 NextMind는 XR 기기와 함께 착용하는 BCI 웨어러블 기기입니다. 이 기기는 EEG(뇌파)를 주로 측정하지만, 여타 기기와는 다른 전략을 취했습니다. NextMind는 어플리케이션의 특정 영역에 점멸하는 문양을 삽입하였는데요, 일정 주기로 깜빡이는 문양을 응시할 때 나타나는 특수한 뇌파를 인식하는 방식(SSVEP; Steady State Visually Evoked Potential)을 활용하여 상호작용을 구현하였습니다. 구체적인 동작 방식은 시연 영상을 통해 확인할 수 있습니다.
이러한 기기들은 미래적이며 혁신적이지만, 아쉽게도 상용화는 시기상조라 볼 수 있습니다. Galea는 부피가 커 사용이 불편하며, 높은 가격대를 형성하고 있습니다. NextMind의 경우에도 SSVEP 방식에 종속적인 콘텐츠 구현이 필요하다는 단점이 있으며, 현재 NextMind의 사업 지속 여부 또한 불투명한 상황입니다.
메타버스에서 우리의 뇌로 무엇을 할 수 있을까?
그렇다면 BCI 기술이 충분히 성숙하게 되는 시점이 올 때, 우리는 어떤 기능을 활용할 수 있을까요?
생각만으로 체스 게임을 두는 ‘링크’ 임상실험 참여자 (출처: Neuralink)
첫째는 뇌의 정보를 가상 환경에 출력하는 것입니다. 우리 뇌 속의 생각을 읽어낼(꺼내올) 수 있다면, 특정 의사를 가지는 것만으로 그 동작을 수행할 수 있게 될 것입니다. 예를 들면, ‘뒤로가기’ 버튼을 누르고 싶을 때, 컨트롤러를 조작할 필요도, 특정 핸드 제스쳐를 취할 필요도, 시선을 버튼에 둘 필요도 없이 단순히 ‘뒤로 가고 싶다고 생각’하는 것 만으로 가능해지는 것이죠. 이는 컴퓨터, 스마트폰 등의 기존 매체에도 적용될 수 있겠지만, 보다 높은 자유도와 복잡도를 가진 메타버스에서 그 장점은 더욱 극대화될 것입니다. 이외에도 뇌로부터 우리의 감정을 읽어내어 현재 감정에 맞춘 개인화된 경험을 제공하는 등, 뇌로부터 읽어낼 수 있는 정보는 무궁무진합니다.
뇌를 자극하여 촉각 피드백을 제공하는 그림 (출처: [4])
둘째는 뇌에 가상 환경의 정보를 입력하는 것입니다. 현재 기술로는 가상 환경에서 물체를 '느끼기' 위해 별도의 햅틱 장비가 필요합니다. 하지만 촉각 자극이 피부에서 전기 신호로 변해 뇌에 전달된다는 점을 고려하면, 흥미로운 접근이 가능합니다. 뇌의 특정 부위를 자극하여 특정 신체 부위의 촉각 피드백을 제공하는 것이죠.
감각운동 피질의 TMS 자극에 대한 히트맵 (출처: [4])
2024년 시카고 대학의 Human Computer Integration Lab에서 발표한 한 논문에서는, 자기장으로 대뇌피질을 자극하는 TMS(Transcranial Magnetic Stimultation) 기술을 활용하여 손, 팔, 다리, 발, 턱 등 여러 신체 부위에 촉각 피드백을 제공하는 방식을 제안[4]하였습니다. 예를 들어 가상 환경에서 피험자가 가상의 상자를 밟았을 때, 시스템이 이를 인식하여 다리의 촉각을 관장하는 뇌 부위로 TMS 기기를 회전시킨 뒤, 해당 부위를 자극하여 다리에 촉각 피드백을 생성하는 식입니다. 비록 아직은 TMS 기기의 부피와 소음, 생성하는 자극의 정밀도 등의 한계가 존재하지만, 가상 환경에서의 행동 정보를 뇌에 직접 입력하여 피드백을 얻는 새로운 패러다임을 선보인 것입니다. 이러한 접근은 더욱 현실에 가까운 촉각 피드백을 제공할 수 있다는 점에서 그 의의를 확인할 수 있겠습니다.
다음 단계는?
컴퓨터는 맨 처음에는 책상(Desk)에 위치하였습니다. 그다음에는 손(Mobile)에, 그다음에는 착용하는 형태(Wearable)로 발전하였습니다. 그렇다면 그다음 단계는 무엇이 될까요? Human Computer Integration Lab의 Pedro Lopes 교수는 ‘신체와의 통합(Integration)’을 이야기하였습니다. 컴퓨터가 인간과 더욱 긴밀하게 소통하며, 더 강력하고 편리한 상호작용을 제공할 수 있도록 말이죠.
BCI는 그 기술이 성숙할 때, 별도의 학습이 요구되지 않고 생각만으로 기계를 제어할 수 있는 궁극의 인터페이스입니다. 이러한 BCI 기술이 XR 기술과 결합할 때 기존의 상호작용 방식을 뛰어넘는 가장 직관적인 상호작용을 가능케 할 것이며, 뇌를 직접 자극하여 피드백을 만들어냄으로써 더욱 현실에 가까운 가상현실을 만들어낼 수 있을 것입니다.
‘사이버펑크’ 장르의 분위기를 나타내는 장면 (출처: ChatGPT 생성)
우리는 나날이 발전하는 기술의 폭풍 속에서 살아가고 있습니다. 일상 속의 스마트폰으로 누리는 기능들이 100년 전에는 공상 과학의 산물로 여겨졌던 것처럼, 우리의 뇌를 활용하게 되는 날 또한 머지않았을지도 모릅니다. 미래학자인 Ray Kurzweil은 불과 1세기 후면 물리적 신체로부터 자유로운 세대가 등장할 것이며, 신체 없이 ‘소프트웨어 기반 뇌’를 가진 인간이 ‘뉴런 기반 뇌’를 가진 인간보다 많아질 것으로 예상하고 있습니다.
하지만 기술의 발전에는 항상 명암이 존재하며, 이는 BCI도 예외는 아닙니다. 일례로 뇌는 여러 민감한 정보의 근원적 저장소인 만큼, ‘생각’의 전산화는 해킹과 같은 보안 문제를 야기할 수 있을 것입니다. 사람들은 ‘사이버펑크’ 장르를 통해 근미래에 기술로 억압받는 사회를 상상하며 기술에 대한 두려움을 나타내왔습니다. 사이버펑크 장르는 기술의 발전이라는 장치를 통해 물질주의와 쾌락주의, 불평등, 양극화를 비판할 뿐만 아니라, 인간의 정체성에 대한 질문을 던지기도 합니다.
누군가가 자신의 신체를 끝없이 개조하며 남은 한 조각의 조직까지도 기계 부품으로 대체하는 순간에, 그를 더 이상 ‘인간’이라 부를 수 있을까요? 이러한 장치는 기술로 인간의 정신적/신체적 능력을 향상하자는 주의의 트랜스휴머니즘(Transhumanism)에 대해 생각할 기회를 제공합니다. 모든 것이 빠르게 발전하는 시대에서 가장 중요한 것은, 어쩌면 인간 본질에 대한 깊은 고찰을 통해 휘둘리지 않고 중심을 다잡는 것일지도 모르겠습니다.
[작성자: XREAL 김윤찬]
