청각장애인도 '촉각'으로 음악 느낀다

ETRI, '촉각 피치 시스템' 개발
소리·음 높이 촉각 패턴으로 변환
원하는 음 내는 능력 약 3배 향상

촉각으로 소리를 인식하게 하는 기술이 개발됐다.

한국전자통신연구원(ETRI·원장 김명준)은 주위 소리와 이용자 음높이를 촉각 패턴으로 변환하는 '촉각 피치 시스템'을 개발했다고 19일 밝혔다.

이 기술은 청각장애인이 좀 더 정확한 음을 내며 노래까지 부를 수 있도록 돕는다.

현재는 청각장애인도 청신경에 전기자극을 줘 소리를 들을 수 있게 하는 '인공와우' 수술로 원활한 구어 대화가 가능하다. 다만 소리 의미를 파악하는 정도며, 음 높낮이 구분은 어려웠다. 음악 감상이나 노래를 부르는 것에 제약이 있다.

ETRI 연구진이 촉각 피치 시스템으로 정확한 음정을 파악하는 훈련 과정을 시연하는 모습. 사진 왼쪽부터 신승용 선임연구원, 정승은 선임연구원.
ETRI 연구진이 촉각 피치 시스템으로 정확한 음정을 파악하는 훈련 과정을 시연하는 모습. 사진 왼쪽부터 신승용 선임연구원, 정승은 선임연구원.

ETRI 개발 기술은 촉각으로 소리를 느낄 수 있게 한다. 청각 정보에서 주파수 신호를 뽑아 만든 촉각 패턴을 착용자 피부에 전달하는 방식이다. 예를 들어 주변에서 4옥타브 계이름 '도' 소리가 들리면 착용한 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 한다. 한 손에 3옥타브에 해당하는 36개 음계를 촉각 패턴으로 표현했다. 한 달가량 훈련을 거치면 음 높낮이를 파악할 수 있다. 나아가 자신의 목소리를 원하는 음으로 낼 수 있다.

이미 시험으로 기술 효과를 확인했다. 강남대와 인공와우 수술을 받은 청각장애인 2명을 대상으로 시험했다.

참가자들은 약 한 달간 15시간 훈련을 거친 결과 원하는 음을 내는 능력이 약 3배 향상됐다. 이는 임상을 통해 증명한 연구 가운데 최초 사례다.

ETRI 개발 학습 소프트웨어(SW)와 연동된 촉각 피치 시스템. 장갑형 버전과 밴드형 버전.
ETRI 개발 학습 소프트웨어(SW)와 연동된 촉각 피치 시스템. 장갑형 버전과 밴드형 버전.

연구진은 이 기술이 청각장애인 음악 활동뿐만 아니라 의사소통 개선에도 도움을 줄 것으로 보고 있다. 고령인도 언어·음향 학습 보조수단으로 활용할 수 있다.

앞으로는 시스템 착용성과 완성도를 개선하고, 좀 더 효과 높은 특수교육법과 훈련 기법 표준안을 만들기 위해 관련 협회와도 협력할 예정이다.

위험 상황이 어느 방향·위치에서 발생하는지 촉각으로 전달하는 기술도 개발되고 있다.

신형철 ETRI 휴먼증강연구실장은 “우리 사회 소수자들에게 정말로 필요한 기술을 개발하기 위해 노력했다”면서 “여러 사람을 돕는 따스한 복지 정보통신기술(ICT)로 많이 활용되길 바란다”고 말했다.

대전=김영준기자 kyj85@etnews.com