[주니어전자]IT 핫픽 - AI가 뇌의 언어를 해석했다…2년 가까이 이어진 '생각 소통' 실험

뇌-컴퓨터 인터페이스(BCI·Brain-Computer Interface). 인간의 뇌와 컴퓨터 간의 통신을 가능하게 하는 기술이다. / Cybathlon

생각만으로 말을 전달하고, 컴퓨터를 조작하는 시대가 한 걸음 더 가까워졌어요.

뇌에 심은 전극과 인공지능(AI)을 결합한 뇌-컴퓨터 인터페이스(BCI)가 중증 마비 환자의 의사소통과 디지털 생활을 실제 환경에서 지원할 가능성을 보여줬답니다.

미국 데이비스 캘리포니아대(UC 데이비스) 연구진은 근위축성 측삭경화증(ALS·루게릭병) 환자가 AI 기반 BCI를 이용해 연구자의 도움 없이 자신의 집에서 약 2년 동안 의사소통하고 컴퓨터를 제어할 수 있었다는 연구 결과를 16일 의학 저널 네이처 메디신(Nature Medicine)에 발표했어요.

이번 연구는 뇌 신호를 해석하는 수준을 넘어, AI 기반 BCI가 실제 생활에서 의사소통과 컴퓨터 활용을 돕는 실용적인 보조기술로 발전할 가능성을 보여줬다는 점에서 의미가 커요.

뇌 신호를 읽어 말과 움직임으로 바꾸는 BCI

BCI는 뇌에서 발생하는 신호를 컴퓨터가 이해할 수 있는 데이터로 바꾸는 기술이에요.

우리가 말을 하거나 손을 움직일 때 뇌에서는 특정한 신경 신호가 발생하는데요. BCI는 이 신호를 기록한 뒤 AI 알고리즘을 이용해 “어떤 말을 하려고 했는지”, “어떤 방향으로 움직이려고 했는지”를 분석해요.

기존에도 BCI 연구는 꾸준히 진행돼 왔지만, 실제 생활에서 오랫동안 안정적으로 사용하는 것은 쉽지 않았어요.

연구실에서는 높은 정확도를 보여도 집에서는 장비 관리가 어렵거나, 시간이 지나면서 뇌 신호가 변해 다시 보정해야 하는 문제가 있었기 때문이죠.

이번 연구는 바로 이 한계를 넘어섰어요. 연구진은 “사용자가 연구자의 지속적인 도움 없이 집에서 BCI를 사용할 수 있는지”, “장기간 사용해도 성능이 유지되는지”를 확인하는 데 집중했답니다.

독립적으로 사용한 다중 모드 BCI 시스템 - 참가자는 뇌에 이식한 전극에서 얻은 신경 신호를 AI로 해독해 말하려는 단어를 화면에 표시하고, 커서 이동과 클릭 등 컴퓨터 조작도 수행했다. 시스템은 시선 추적 기능을 함께 활용해 사용자가 화면 버튼을 선택할 수 있도록 했다. 뇌 신호는 음성·커서·클릭 해독 과정을 거쳐 사용자의 의도를 컴퓨터 명령으로 변환했다. 연구진은 참가자가 연구자의 도움 없이 사용하기 시작한 뒤 약 19개월 동안 3,801시간 이상 BCI를 활용한 기록을 분석했다. / Nature Medicine, Nicholas S. Card et al., “Long-term independent use of an intracortical brain-computer interface for speech and cursor control” (2026)

ALS 환자, AI로 다시 대화하다

연구 대상자는 2023년 BCI 임상시험에 참여한 45세 남성 ALS 환자였어요.

ALS는 운동신경세포가 점차 손상되면서 근육 움직임이 약해지는 신경퇴행성 질환이에요. 병이 진행되면 몸을 움직이거나 말을 하는 능력이 크게 떨어질 수 있죠.

이 환자 역시 심한 언어장애와 마비를 겪고 있었는데요. 연구진은 환자의 왼쪽 뇌 영역 중 말을 만들 때 관여하는 언어 운동피질(speech motor cortex) 부위에 64개 전극이 연결된 미세전극 배열 4개를 이식했어요.

총 256개의 전극이 뇌에서 발생하는 신경 신호를 기록했고, AI 기반 해독기가 이를 분석해 문자와 컴퓨터 제어 신호로 변환했어요.

환자가 실제로 목소리를 내지 못하더라도 말을 하려고 할 때 발생하는 뇌 신호를 AI가 분석해 문장으로 바꿔주는 방식이에요.

19개월 동안 3,800시간 이상 사용

연구진은 이 BCI 시스템을 환자의 집에 설치했어요.

처음에는 연구진이 장비 연결과 사용을 도왔지만, 이후에는 보호자가 간단한 준비 과정만 수행하면 환자가 스스로 시스템을 사용할 수 있도록 개선했어요.

환자는 약 19개월 동안 BCI를 사용했고, 총 사용 시간은 3,800시간을 넘었어요.

연구 기간 동안 환자는 가족과 친구, 의료진, 동료와 대화를 나눴고 문자메시지와 이메일을 보내며 인터넷도 이용했어요. 또 BCI를 활용해 컴퓨터를 직접 제어하면서 직장 업무까지 이어갔죠.

이 기간 환자가 전달한 문장은 18만3,060개, 단어 수는 약 196만 개에 달했어요.

평균 의사소통 속도는 분당 56단어였어요. 이는 환자가 이전에 사용하던 머리 움직임 기반 입력장치의 의사소통 속도(분당 약 6단어)보다 9배 이상 빠른 수준이에요.

음성 해독 - 개인 사용 환경에서 음성 해독 BCI의 사용 패턴과 성능 변화를 분석했다. 참가자는 생성된 문장을 직접 보고 정확도를 평가했으며, 그 결과는 즉시 정확, 수정 후 정확, 대부분 정확, 오류로 분류됐다. 하루 평균 의사소통 속도, 문장 길이, 총 문장 수, 사용 시간 등의 지표도 함께 제시됐다. 전체 18만3,060개 문장을 기반으로 한 정확도 분포와 문장 길이에 따른 정확도 변화도 분석했다. 또한 주기적 평가에서 무발화와 발화 전략에 따른 단어 오류율과 말하기 속도를 비교했으며, 일부 구간에서는 트랜스포머 기반 모델이 사용됐다. / Nature Medicine, Nicholas S. Card et al., “Long-term independent use of an intracortical brain-computer interface for speech and cursor control” (2026)

AI가 12만5천 단어를 99% 이상 정확도로 해석

이번 연구에서 특히 주목받은 부분은 AI 해독기의 정확도예요.

연구진은 화면에 표시된 문장을 환자가 말하려고 시도할 때 발생하는 뇌 신호를 분석하고, AI가 만들어낸 결과를 실제 문장과 비교했어요.

그 결과 12만5천 단어 규모의 어휘를 기준으로 단어 해독 정확도는 99% 이상을 기록했죠.

또 환자가 일상적으로 BCI를 사용하며 평가한 결과, 자신이 전달하려 한 문장의 약 92%가 최소한 “대체로 정확한 수준”으로 해석된 것으로 나타났어요.

연구진은 AI 모델에도 변화를 줬어요. 초기에는 순환신경망(RNN) 기반 모델을 사용했지만, 이후에는 더 발전한 트랜스포머 기반 AI 모델을 적용했어요.

트랜스포머는 현재 다양한 생성형 AI 서비스에서도 활용되는 기술로, 문맥을 더 효과적으로 파악할 수 있다는 장점이 있어요. 연구진은 이를 활용해 뇌 신호 변화에도 더 안정적으로 대응할 수 있도록 했어요.

말뿐 아니라 컴퓨터 조작도 가능해져

이번 BCI 시스템은 음성 변환뿐 아니라 컴퓨터 마우스 조작 기능도 지원했어요.

환자는 손을 움직이는 모습을 머릿속으로 떠올릴 때 발생하는 뇌 신호를 이용해 화면 속 커서를 이동시키고 클릭 명령을 내릴 수 있었어요. 이를 통해 AI가 변환한 문장을 컴퓨터에 입력하고, 이메일과 메시지를 보내거나 인터넷을 검색하는 등 다양한 디지털 작업을 스스로 수행했어요.

특히 이번 연구가 의미 있는 이유는 하나의 뇌 영역에서 얻은 신경 신호만으로 음성 의사소통과 컴퓨터 제어를 동시에 구현했다는 점이에요.

기존 BCI 연구는 주로 말하기 복원 또는 커서 조작 중 하나에 집중하는 경우가 많았지만, 이번 연구는 두 기능을 함께 활용할 수 있음을 보여줬죠.

커서 기반 BCI를 통한 컴퓨터 제어 - 참가자는 커서 BCI를 이용해 개인 컴퓨터를 직접 조작하며 검색, 입력 등 다양한 작업을 수행했다. 커서 디코더를 통해 마우스 이동과 클릭이 가능했으며, 해독된 문장은 화면에 실시간으로 표시됐다. 사용 시간 분석 결과, 커서 BCI는 주요 컴퓨터 제어 수단으로 활용됐다. 또한 일일 보정(calibration) 시간과 커서 제어 시작까지 걸리는 시간은 수개월 동안 안정적으로 짧게 유지됐다. 성능 평가에서도 참가자는 장기간 동안 빠른 목표 선택 능력을 지속적으로 유지했다. / Nature Medicine, Nicholas S. Card et al., “Long-term independent use of an intracortical brain-computer interface for speech and cursor control” (2026)

아직 넘어야 할 과제는?

물론 이번 연구가 곧바로 모든 환자가 일상에서 사용할 수 있는 완성된 기술이라는 의미는 아니에요. 실제 의료 현장에서 활용되기 위해서는 아직 해결해야 할 과제들이 남아 있답니다.

한 명의 ALS 환자를 대상으로 진행됐기 때문에, 다른 환자들에게도 같은 성능이 나타나는지는 추가 검증이 필요해요. 또 현재 시스템은 뇌와 컴퓨터를 연결하는 유선 장치가 필요하고, 여러 대의 컴퓨터로 구성돼 크기가 크다는 한계도 있어요.

연구진은 앞으로 무선 방식이나 완전 이식형 시스템을 개발하고, 다양한 환자군을 대상으로 장기간 성능을 확인하는 연구가 필요하다고 설명했어요.


아직 넘어야 할 산은 남아 있지만, 이번 연구는 뇌와 AI를 연결해 생각을 표현하는 시대가 조금씩 현실에 가까워지고 있음을 보여줬어요. BCI가 사람의 삶을 돕는 실용 기술로 자리 잡기 위한 중요한 발걸음을 내디딘 것이죠.

일론 머스크의 뉴럴링크는 BCI 기술을 적극적으로 개발하는 기업이다. 사지마비 환자들을 대상으로 임상시험을 진행하고 있으며, 2024년에는 첫 참가자가 생각만으로 컴퓨터 커서를 제어하고 비디오 게임을 플레이하는 데 성공했다. 현재 뉴럴링크는 수술 로봇을 활용한 이식 기술과 글로벌 임상 확대를 통해 BCI 기술 고도화를 추진하고 있다. / Neuralink

최성훈 기자 csh87@etnews.com