• 세계 최고의 딥 러닝 기반 초해상도 영상복원 기술개발 
• 고화질 영상디스플레이 자율주행자동차 지능로봇 위성영상 분석 인식 성능 향상

과학기술인상 2월 수상자로 서울대학교 전기정보공학부 이경무 교수를 선정했다고 과학기술정보통신부와 한국연구재단은 밝혔다. 이경무 교수가 해상도가 낮은 영상을 선명하게 복원할 수 있는 딥 러닝* 기반의 초해상도 영상복원 기술을 개발하여 컴퓨터 비전**과 머신 러닝 분야에 기여한 공로가 높게 평가되었다고 선정배경을 설명했다. 초해상도 영상복원은 영상처리와 컴퓨터 비전 분야에서 가장 오래되고 중요한 연구주제이다. 특히 최근에는 CCTV나 MRI와 같은 보안감시 및 의료 장비는 물론 교통, 군사, 우주 등 광범위한 분야에서 영상정보의 질을 높이기 위한 경쟁력 있는 기술 확보가 요구되고 있다.

•     * 딥 러닝(Deep learning) : 컴퓨터가 데이터와 인공신경망을 이용해 스스로 학습하는 기술
•     ** 컴퓨터 비전(Computer Vision) : 기계의 시각에 해당하는 부분을 연구하는 컴퓨터 과학의 최신 연구 분야. 기계나 컴퓨터가
•        사람 눈처럼보고 인지하고 이해할 수 있게 하는 분석 시스템

이경무 교수는 인공신경망을 이용한 화질개선 알고리즘과 같은 독창적인 아이디어를 통해 고심층 초해상도네트워크(VDSR), 심층반복 복잡계네트워크(DRCN), 확장심층 초해상도네트워크(EDSR), 다중심층 초해상도네트워크(MDSR) 등 복원 성능이 획기적으로 개선된 일련의 딥 러닝 기반 알고리즘을 개발하였다.
 
이러한 기술은 저가의 카메라로 촬영한 저해상도의 사진을 소프트웨어적으로 해상도를 높일 수 있다. 이와 함께 카메라의 흔들림이나 대상 물체의 움직임에 의한 영상 흔들림(blurring) 현상을 해결하고 깨끗한 영상을 복원하는 기술(deblurring) 개발도 선도하고 있다.

 ㅇ 이 가운데 EDSR과 MDSR 관련 연구는 초해상도 영상복원 세계대회인 ‘NTIRE 2017’에서 최고 논문상 수상과 챌린지 우승의 영예를 거머쥐며 기술의 창의성과 실용성을 국제적으로 인정받았다.

이경무 교수는 “세계 최고의 딥 러닝 기반 초해상도 영상복원 기술은 영상의 질을 높여야 하는 곳이면 어디서든지 사용할 수 있다”라며 “고화질 영상 디스플레이, 자율주행 자동차, 지능로봇, 위성영상 분석 등 다양한 분야에서 실용적으로 영상분석과 인식 성능을 향상시킬 수 있다”라고 연구 의의를 밝혔다.

 ‘이달의 과학기술인상’은 우수한 연구개발 성과로 과학기술 발전에 공헌한 연구개발자를 매월 1명씩 선정하여 과기정통부 장관상과 상금 1천만 원을 수여하는 시상이다.

□그림설명

{그림 1} 초해상도 영상복원을 위한 새로운 인공신경망구조

VDSR 시스템 구조                   EDSR 시스템 구조
ㅇ 초해상도 영상복원을 위해 개발된 새로운 딥러닝 인공신경망 시스템 구조. 영상복원을 위해 세계 최초로 20개 층의 매우 깊은 컨볼루션 신경망(CNN)과 잔류연결(residual connection) 개념을 사용한 VDSR 시스템(왼쪽). 이를 보다 개선·확장한 60개 이상의 층으로 이루어진 초해상도 영상복원 네트워크 EDSR(오른쪽).

{그림 2} ㅇ 초해상도 영상복원 결과로 원래 영상을 4배 확대하여 HD급 영상으로 복원한 결과 비교(왼쪽). EDSR을 얼굴영상에 8배 확대 적용한 결과(오른쪽).

 서울대 이경무 교수 인적사항

□ 인적사항
  o 성명 : 이 경 무 (Lee, Kyoung Mu)
  o 소속 : 서울대학교
  o 전화 : 02-880-1743
  o e-mail :  kyoungmu@snu.ac.kr
 □ 주요 학력
  o 1988. 9. ~ 1993. 2.   Univ. of Southern California 전기공학 박사
  o 1984. 3. ~ 1986. 2.   서울대학교 제어계측공학과 석사 
  o 1980. 3. ~ 1984. 2.   서울대학교 제어계측공학과 학사
 □ 주요 경력
  o 2014. 10. ~ 현재      IEEE Tans. PAMI 부편집장
  o 2012. 8. ~ 2014. 7.   서울대학교 자동화시스템공동연구소 소장
  o 2009. 8. ~ 2011. 7.   서울대학교 공과대학 연구지원소 소장
  o 2009. 8. ~ 2011. 7.   서울대학교 공과대학 부학장
  o 2003. 9. ~ 현재       서울대학교 전기정보공학부 부교수, 교수
 □ 전문 분야
 o 컴퓨터비전, 머신러닝, 영상처리

 ■미니인터뷰 이경무 교수 

"세계 최초로 컨볼루션 신경망과 잔류 연결 개념 사용한 VDSR 시스템 개발"

흐릿한 CCTV 화면을 유심히 보던 주인공이 무언가를 발견하고 화면을 더 확대해 보라며 손짓한다. CCTV에 찍힌 범인의 얼굴이 뿌옇게 확대됐다가, 버튼을 누르는 동작 한 번에 선명해진다. <미션 임파서블> 등의 첩보 영화 속 수사 과정에서 종종 등장하는 장면이다. 예전에는 영화 속에서만 볼 수 있던 미래 기술이었지만, 실제 수사 현장에 이러한 기술을 활용할 날도 머지않았다. 이경무 교수는 영상처리와 컴퓨터 비전 분야에서 세계적으로 인정받고 있는 학자로, 그가 개발한 딥러닝 기반 초해상도 알고리즘을 적용하면 저화질 영상을 최대 8배까지 확대한 후 원본 영상에 가깝게 복원할 수 있다. 이경무 교수의 연구는 영상복원 기술 발전에 기여할 뿐만 아니라 이미지 학습을 통한 의료 진단 등 타 응용과학 분야의 딥러닝 시스템 개선에도 효과적으로 활용할 수 있을 것으로 예측된다. “인공지능 개발로 인류가 당면한 난제들을 해결할 수 있으리라 믿는다”라며 관련 연구에 매진하고 있는 그의 이야기를 들어보았다.

- 이달의 과학기술인상 수상을 진심으로 축하드립니다. 수상 소감 부탁드립니다.

먼저 이렇게 훌륭한 상을 받게 되어 영광입니다. 과학기술의 성과는 많은 시간과 부단한 노력, 그리고 여러 명의 협업으로 이뤄집니다. 그동안 재미있게 같이 고민하고땀 흘린 우리 연구실 학생들의 노력이 없었다면 달성하지 못했을 결과들입니다. 이 기쁨을 같이 고생한 학생들과 같이 나누고자 합니다.

- 딥러닝 기반의 고해상도 영상복원 기술을 개발하시는 등 영상처리 분야에서 다양한 연구 성과를 거두셨습니다. 관련 연구를 시작하신 계기는 무엇인지요.

사람이 눈을 통해 사물이나 주변 환경을 인식하듯이 컴퓨터를 이용해 시각정보를 다루는 영상처리 또는 컴퓨터 비전은 인공지능에서 가장 중요한 연구 분야입니다. 최근 딥러닝의 혁신도 컴퓨터비전에서 먼저 시작되었습니다. 산업체나 연구소와 같이 일하면서 현장에서 영상의 질을 높이는 게 매우 중요한 이슈임을 깨달았습니다. 예를 들어 과학수사 증거영상에서 대상물체의 해상도를 높이거나 노이즈를 제거해 주면 얼굴이나 차량 번호판을 쉽게 식별할 수 있기 때문입니다.

- 교수님께서는 기존 기술보다 월등히 우수한 화질 개선 알고리즘을 개발하셨는데요. 주요 연구성과 설명을 부탁드립니다.

 세계 최초로 20개 층의 매우 깊은 컨볼루션 신경망(Convolutional Neural Network, CNN)과 잔류 연결(residual connection) 개념을 사용한 VDSR 시스템을 개발했습니다. 컨볼루션은 ‘합성곱’을 뜻하는데, 신경망의 컨볼루션 층이 깊을수록 입력영상의 넓은 맥락정보를 활용할 수 있기 때문에 더욱 의미 있고 유용한 특징들을 추출하여 결과를 향상시킵니다. 또한 입력 값은 그대로 출력하고, 출력 값과 입력 값의 차이만을 학습하는 잔류 연결이라는 새로운 개념을 사용해 빠른 딥러닝 속도와 안정된 성능을 끌어냈습니다. 이후 60개 층 이상으로 확장된 EDSR과 MDSR을 통해 성능과 수행속도를 획기적으로 높였습니다. 세계 최고의 컴퓨터비전·머신러닝 학술대회 ‘CVPR 2016’에 관련 연구결과 2편을 구두 발표했고, 2017년에는 전 세계 21개 팀이 참가한 NTIRE2017 초해상도 영상복원 챌린지에서 EDSR, MDSR로 우승하는 성과를 달성해 최고 수준의 기술력을 입증했습니다.

- 교수님께서 개발하신 초해상도 영상복원 알고리즘들은 향후 어떤 분야의 응용연구에 영향을 줄 수 있을까요? 더불어 영상처리 연구의 중요성에 대해서도 말씀해 주세요.

영상초해상도 기술은 매우 다양한 분야에 응용 가능합니다. 기본적으로 영상의 질을 높여야 하는 곳에 모두 사용할 수 있습니다. 예를 들면 감시카메라 및 블랙박스 영상 화질 개선, UHD TV를 위한 고해상도 영상변환, 스마트폰 화질 개선, 반도체 및 부품 결함 검사, 의료영상 개선 등에 사용되며 더 나아가 자율주행 자동차, 지능로봇, 드론, 군사, 위성영상 분석 등에 핵심적인 기술로 사용됩니다.

- 패턴 인식 및 인공지능 분야의 유명 학술지 IEEE TPAMI 부편집장과 국제컴퓨터비전학술대회(ICCV) 2019 조직위원장으로 활동 중이신데요. 최근 발표된 딥러닝 분야 연구결과 중에서 교수님의 관심을 끄는 흥미 있는 이슈는 무엇인가요?

 최근의 딥러닝 관련 이슈 중에서는 실제와 같은 영상을 생성해 내는 생성 모델(generative model), 인간의 도움 없이 기계가 스스로 학습하는 자기지도학습(self supervised learning) 또는 메타학습(meta learning) 등에 관심을 갖고 있습니다. 향후 인공지능의 패러다임을 바꿀 수 있는 연구주제라고 생각합니다.

- 학생들 또는 연구실 구성원들에게 강조하는 내용도 소개해주세요.

저는 연구실에서 학생들이 재미있기를 바랍니다. 인공지능 분야 연구는 특히 창의성을 요구합니다. 예술에서와 마찬가지로 창의성이 높은 아이디어는 의무감이 아닌 자발적이고 열정적인 태도에서 나오고, 이러한 태도를 가지려면 본인의 연구주제에 관해 애정이 뒷받침되어야 합니다. 또한 땀과 노력을 강조합니다. 국제적인 규모의 경쟁이 매우 치열해지고 있는 상황에서 더 많은 시간을 들여 고민하고 시행착오를 겪어보아야 최고가 될 수 있다는 이야기를 종종 합니다.

-  앞으로 교수님의 연구 분야에서 궁극적으로 도전하고 싶은 목표, 이루고 싶은 연구 성과는 무엇인가요.

궁극적인 연구 목표는 ‘인간을 위한 인공지능 개발’입니다. 현재 인류가 당면하고 있는 수많은 난제를 해결할 수 있으리라 기대합니다. 특히 시각 지능에 관련한 혁신적인 연구 성과를 발표하고 이를 실용화해 사회에 기여하고자 합니다.

- 교수님께서는 어린 시절 공학자를 꿈꾸신 계기가 있으셨나요? 더불어 미래 공학자를 꿈꾸는 어린 학생들에게, 그 꿈을 이룰 수 있도록 도움 말씀 부탁드립니다.

어린 시절에는 로봇에 막연한 동경을 품고 있었습니다. 대학 학과도 로봇과 관련된 당시의 제어계측공학과로 지원했지요. 공학도를 꿈꾸는 학생들에게는 작은 물건이라도 직접 만들어보면서 창조하는 재미를 경험해 보라고 말하고 싶습니다. 공학만이 가지고 있는 매력이기 때문입니다. 어린 시절의 이러한 경험은 매우 큰 동기가 되어 평생을 지탱해 줄 것입니다. 또한 세계무대에서 두각을 나타내려면 탄탄한 기초 실력과 창의성을 기르는 일도 필요합니다. 학교공부와 더불어 항상 ‘왜?’라고 궁금해하는 호기심을 잃지 않기를 바랍니다.

한국연구재단 홍보실 제공