기계학습 알고리즘 이용, 대뇌 피질 신호로 사용자의 상상을 예측

3차원 공간에서 로봇팔을 쉽게 제어할 수 있는 뇌-기계 인터페이스 개발

KAIST, 뇌 신호 해독기술로서, 향후 다양한 의료보조기기 개발에 활용 기대

KAIST 뇌인지과학과 정재승 교수

인간의 뇌 신호를 해독해 장기간의 훈련 없이 생각만으로 로봇 팔을 원하는 방향으로 제어하는 뇌-기계 인터페이스 시스템을 개발했다고 24일 밝혔다.

KAIST 뇌인지과학과 정재승 교수 연구팀이 서울의대 신경외과 정천기 교수 연구팀과 공동연구로 진행된 이번 연구에서 정 교수 연구팀은 뇌전증 환자를 대상으로 팔을 뻗는 동작을 상상할 때 관측되는 대뇌 피질 신호를 분석해 환자가 의도한 팔 움직임을 예측하는 팔 동작 방향 상상 뇌 신호 디코딩 기술을 개발했다. 이러한 디코딩 기술은 실제 움직임이나 복잡한 운동 상상이 필요하지 않기 때문에 운동장애를 겪는 환자가 장기간 훈련 없이도 자연스럽고 쉽게 로봇 팔을 제어할 수 있어 앞으로 다양한 의료기기에 폭넓게 적용되리라 기대된다.

KAIST 바이오및뇌공학과 장상진 박사과정이 제1 저자로 참여한 이번 연구는 뇌공학 분야의 세계적인 국제 학술지 `저널 오브 뉴럴 엔지니어링 (Journal of Neural Engineering)' 9월 19권 5호에 출판됐다. (논문명 : Decoding trajectories of imagined hand movement using electrocorticograms for brain-machine interface).

뇌-기계 인터페이스는 인간이 생각만으로 기계를 제어할 수 있는 기술로, 팔을 움직이는 데 장애가 있거나 절단된 환자가 로봇 팔을 제어해 일상에 필요한 팔 동작을 회복할 수 있는 보조기술로 크게 주목받고 있다. 로봇 팔 제어를 위한 뇌-기계 인터페이스를 구현하기 위해서는 인간이 팔을 움직일 때 뇌에서 발생하는 전기신호를 측정하고 기계학습 등 다양한 인공지능 분석기법으로 뇌 신호를 해독해 의도한 움직임을 뇌 신호로부터 예측할 수 있는 디코딩 기술이 필요하다.

그러나 상지 절단 등으로 운동장애를 겪는 환자는 팔을 실제로 움직이기 어려우므로, 상상만으로 로봇 팔의 방향을 지시할 수 있는 인터페이스가 절실히 요구된다. 뇌 신호 디코딩 기술은 팔의 실제 움직임이 아닌 상상 뇌 신호에서 어느 방향으로 사용자가 상상했는지 예측할 수 있어야 하는데, 상상 뇌 신호는 실제 움직임 뇌 신호보다 신호대잡음비(signal to noise ratio)가 현저히 낮아 팔의 정확한 방향을 예측하기 어려운 문제점이 오랫동안 난제였다. 이러한 문제점을 극복하고자 기존 연구들에서는 팔을 움직이기 위해 신호대잡음비가 더 높은 다른 신체 동작을 상상하는 방법을 시도했으나, 의도하고자 하는 팔 뻗기와 인지적 동작 간의 부자연스러운 괴리로 인해 사용자가 장기간 훈련해야 하는 불편함을 초래했다. 따라서 팔을 뻗는 상상을 할 때 어느 방향으로 뻗었는지 예측하는 디코딩 기술은 정확도가 떨어지고 환자가 사용법을 습득하기 어려운 문제점이 있다. 이 문제가 오랫동안 뇌-기계 인터페이스 분야에서 해결해야 할 난제였다.

연구팀은 문제 해결을 위해 사용자의 자연스러운 팔 동작 상상을 공간해상도가 우수한 대뇌 피질 신호(electrocorticogram)로 측정하고, 변분 베이지안 최소제곱(variational Bayesian least square) 기계학습 기법을 활용해 직접 측정이 어려운 팔 동작의 방향 정보를 계산할 수 있는 디코딩 기술을 처음으로 개발했다. 연구팀의 팔 동작 상상 신호 분석기술은 운동피질을 비롯한 특정 대뇌 영역에 국한되지 않아, 사용자마다 상이할 수 있는 상상 신호와 대뇌 영역 특성을 맞춤형으로 학습해 최적의 계산모델 파라미터 결괏값을 출력할 수 있다.

팔 동작 방향 상상 뇌 신호 디코딩 알고리즘 개념도

연구팀은 대뇌 피질 신호 디코딩을 통해 환자가 상상한 팔 뻗기 방향을 최대 80% 이상의 정확도로 예측할 수 있음을 확인했다. 나아가 계산모델을 분석함으로써 방향 상상에 중요한 대뇌의 시공간적 특성을 밝혔고, 상상하는 인지적 과정이 팔을 실제로 뻗는 과정에 근접할수록 방향 예측정확도가 상당히 더 높아질 수 있음을 연구팀은 확인했다.

연구팀은 지난 2월 인공지능과 유전자 알고리즘 기반 고 정확도 로봇 팔 제어 뇌-기계 인터페이스 선행 연구 결과를 세계적인 학술지 `어플라이드 소프트 컴퓨팅(Applied soft computing)'에 발표한 바 있다. 이번 후속 연구는 그에 기반해 계산 알고리즘 간소화, 로봇 팔 구동 테스트, 환자의 상상 전략 개선 등 실전에 근접한 사용환경을 조성해 실제로 로봇 팔을 구동하고 의도한 방향으로 로봇 팔이 이동하는지 테스트를 진행했고, 네 가지 방향에 대한 의도를 읽어 정확하게 목표물에 도달하는 시연에 성공했다.

연구팀이 개발한 팔 동작 방향 상상 뇌 신호 분석기술은 향후 사지마비 환자를 비롯한 운동장애를 겪는 환자를 대상으로 로봇 팔을 제어할 수 있는 뇌-기계 인터페이스 정확도 향상, 효율성 개선 등에 이바지할 수 있을 것으로 기대된다.  연구책임자 정재승 교수는 "장애인마다 상이한 뇌 신호를 맞춤형으로 분석해 장기간 훈련을 받지 않더라도 로봇 팔을 제어할 수 있는 기술은 혁신적인 결과이며, 이번 기술은 향후 의수를 대신할 로봇팔을 상용화하는 데에도 크게 기여할 것으로 기대된다ˮ고 말했다.

제1 저자인 장상진 박사과정은 "대뇌 피질 신호 분석을 통해 상상 신호만으로 팔의 이동궤적을 높은 정확도로 예측했고 이는 사용자가 움직임 없이 오로지 생각만으로 구동장치의 방향 제어가 가능하다는 것을 보여주는 결과다ˮ라며 "보조기술 개발을 위한 뇌-기계 인터페이스 연구에 활발히 사용될 것이다ˮ라고 말했다. 이번 연구는 한국연구재단 뇌과학원천기술개발사업의 지원을 받아 수행됐다.

디코딩 모델을 활용한 상상 궤적 예측 결과

□ 연구개요

연구 배경

뇌-기계 인터페이스는 사용자의 뇌 신호를 해독하여 사용자가 직접 조작 없이 생각만으로 기기를 제어할 수 있는 기술로 운동장애를 겪는 환자가 로봇 팔을 비롯한 보조장치를 원하는 방향으로 제어하여 일상에 필요한 팔 동작을 회복할 수 있을 것이라는 기대와 함께 뇌공학 분야에서 중요한 소재로 떠오르고 있다. 대뇌 신호는 다양한 인지적 활동과 잡음이 섞여 있으므로 팔을 움직이고자 하는 의도와 방향을 정확하게 읽을 수 있는 뇌 신호 디코딩 기술이 요구된다. 기존에 많은 연구들에서 이를 실현시키고자 하였으나 상상이 아닌 실제 팔 움직임에 대한 궤적을 예측하는 연구가 더 많이 진행되었는데, 이는 움직이지 못하는 운동장애 환자에게 적용하기 어려운 문제점이 있었다. 또한, 기존의 비침습적 측정 방법은 낮은 신호대잡음비로 인해 팔 뻗는 상상의 뇌 신호 특성을 정확하게 포착하기 어려웠다. 이러한 문제점은 대뇌 피질에 깊숙이 심는 특수 미세전극을 이용하더라도 환자가 팔을 뻗는 상상을 장기간 훈련을 해야만 안정적으로 추출이 되었고 미세전극이 주변 대뇌 조직을 훼손하는 위험을 감수해야만 하므로, 실사용하기 적합하지 않았다. 따라서 본 연구에서는 비교적 안정적이고 신호대잡음비를 최대화할 수 있는 대뇌피질신호를 활용하여 팔을 뻗는 방향을 정확하게 예측하는 기술을 개발하고자 하였다.

2. 연구 내용

팔을 뻗는 동작은 대뇌 운동피질에서 동작에 대한 계획, 실행 및 근육조직 활성화를 비롯한 제어신호를 생성하기 때문에 이를 분석하여 팔이 움직이는 방향을 예측할 수 있다. 하지만 실제 팔을 뻗지 않고 상상만 할 경우, 이 신호는 쇠퇴하거나 대뇌의 다른 기전으로 표상될 수 있어 운동피질만을 특정하여 분석하는 기법으로는 예측정확도가 상당히 저하되었다. 본 연구원은 변분 베이지안 최소제곱 (variational Bayesian least square) 기계학습 기법을 활용하여 두정엽을 비롯한 다양한 대뇌 영역에서 팔 뻗기 상상에 대한 숨겨진 정보를 추출하는 디코딩 기술을 개발하였다. 해당 기계학습 기법은 다차원으로 구성된 대뇌 신호 속에서 팔 움직임의 궤적정보를 가장 잘 표현하는 잠재변수를 (latent variable) 계산하여 방향 예측에 유용한 특성을 선별하는 알고리즘에 기반한다. 잠재변수란 직접 측정이 불가하여 기존 변수들을 활용하여 간접적으로 계산할 수 있는 변수를 일컫는다. 연구팀은 해당 분석기법을 활용하여 직접 측정이 어려운 상상 뇌 신호 특성을 다양한 대뇌 영역 신호들을 활용하여 다차원 뇌 신호에 투영된 상상 뇌 신호의 실제 값을 추정하는 분석 알고리즘을 구축하였다. 이를 이용하여 상상된 궤적을 높은 정확도로 예측하였고, 해당 결과로 로봇 팔을 구동하였을 때 실제 환자가 의도한 움직임과 로봇 팔의 움직임이 매우 유사한 궤적을 그리는 것을 확인하였다. 이는 환자가 장기간 훈련하지 않아도 높은 정확도로 로봇 팔을 원하는 방향으로 제어할 수 있음을 보여주었다.

3. 기대 효과

로봇 팔 제어 뇌-기계 인터페이스가 보조기술로서 기능을 수행하려면 사용의 편의성과 안전 및 효율성이 필히 요구된다. 따라서, 환자가 장기간 훈련을 거치지 않고 자연스러운 팔 동작 상상을 해도 정확한 예측이 가능하다면 향후 실생활에 도입될 수 있을 것이라 기대할 수 있다. 뿐만 아니라 이 연구에서 개발된 운동 상상 방향 예측 디코딩 기술은 로봇 팔 뿐만 아니라 휠체어, 드론, 전신 아바타 등 다양한 형태의 구동장치를 제어할 수 있는 뇌-기계 인터페이스를 개발하는데 활발히 응용될 수 있을 것이라 기대한다.

KAIST 홍보실 제공