KAIST, '심층신경망' 학습효율 제고 기술 개발

글자 작게 글자 크게 인쇄하기

KAIST(총장 신성철)가 심층신경망(DNN) 기반 소규모 네트워크의 학습효율과 성능을 높일 수 있는 기술을 개발했다.

KAIST는 김준모 전기 및 전자공학부 교수팀이 기존 '지식추출' 기법을 발전시켜 학습효율과 성능을 높여주는 DNN 학습기술을 개발했다고 14일 밝혔다.

지식추출 기술 개요
<지식추출 기술 개요>

지식추출은 '딥러닝의 아버지'로 불리는 제프리 힌튼 토론토대 교수팀이 만든 네트워크 학습 기술이다. 이미 학습을 마친 '선생님 네트워크'를 이용해 학습 과정에 있는 네트워크를 돕는다. DNN은 정보 입력과 출력 사이에 다양한 층(레이어)을 둬 입력 대상을 학습한다. 선생님 네트워크가 사전에 학습 관련 정보를 제공하는 방식이다.

연구팀은 고밀도 정보제공으로 지식추출 기술을 발전시켰다. 기존 지식추출은 한 번 학습 정보를 제공하는 반면에 연구팀은 단계별로 정보를 제공하는 방식을 택했다.

제공 정보 내용도 발전시켰다. 직접 해답을 제시해주던 이전 기법과 달리 간접 정보에서 답을 얻도록 해 학습 효과를 극대화했다.

연구팀은 새로운 지식추출 기술로 DNN 학습 시간을 크게 줄일 수 있다고 설명했다. 선생님 네트워크 없이 학습에 임할 때보다 50% 이상 빨리 학습을 마친다. 다양한 인식률, 결과 도출 성능 향상도 이끈다.

김준모 KAIST 전기 및 전자공학부 교수(사진 왼쪽), 임준호 박사과정(오른쪽)
<김준모 KAIST 전기 및 전자공학부 교수(사진 왼쪽), 임준호 박사과정(오른쪽)>

새로운 지식추출 기술은 4차 산업혁명 시대 핵심인 사물인터넷(IoT) 기기용 DNN 강화에 크게 기여한다. 소형 IoT 기기용 DNN은 기기 적은 용량 탓에 학습 시간이 오래 걸리고 성능도 떨어진다.

김준모 교수는 “기존 지식추출 한계를 뛰어넘는 기술 개발에 성공했다”며 “고밀도 지식추출로 소형 기기에도 성능 높은 DNN를 구축할 수 있다”고 말했다.

대전=김영준기자 kyj85@etnews.com