<시계열 예측에서의 오버피팅> 우선선 먼저 결정적인 물리계로부터 음악에 이르기까지의 여러가지 시계열문 제를 개략적으로 살펴보자. 시계열 문제의 특징들과 적당한 신경회로망 모델 을 선택, 연결함으로써 임베딩 얼마나 많은 수의 입력이 요구되는가), 표본 화시간(입력들 사이의 시간), 그리고 예측시간(네트워크가 단기간 예측에 대해 학습이 되어 있고 부차적으로 더 좋아지도록 반복 수행되는 경우 그리고 직접적인 장기간 예측이 더 좋아질 때 장기간 예측을 생성하는 것)등에 관련한 문제를 설명할 수 있다.
두번째 부분은 국소적으로, 즉 입력벡터에 따라 각 예측에 대한 예측의 불확실성을 예측한다. 단지 국소오차 막대를 예측하는 것으로부터 전체의 조건부 확률밀도를 예측하는 것에 이르는 방법들이 제시된다. 그리고 데이터 재셈플링 부트스트랩 을 통하여 어떻게 오차막대가 얻어질 수 있는가 그리고 서로 다른 오차 측도가 데이터 모델링에 있어서의 불일치, 그리고 유한한 샘플갯수에 관한 문제에 포함되어 있는 확률적인 성분과 어떻게 관계되는가를 설명 할 것이다.
세번째 부분은 오버피팅을 방지하는 것에 중점을 두고 있다. 데이터에 잡음 이 포함되어 있을 때(신경망과 같이)융통성 있는 모델은 "신호"를 학습할(즉 , 잘 일반화하는 특징을 추출할)뿐만 아니라 "잡음" (즉, 학습데이터도 학습 한다. 오버피팅을 피하기 위하여 노력하는 여러가지 방법이 개발되어 왔다.
예를 들어 *네트워크가 너무 복잡한 경우 패널티항을 도입하는 일반적인 방법 예를 들어 연결강도 제거) *구조에 불변성을 구축하는 방법(예를 들어연결강도를 연결하는 것은 독립 파라미터의 수를 줄이는 데 도움을 준다) 데이터에 관한 힌트와 같은 보다 많은 문제에 따른 아이디어들, 결과들은 재정 데이터를 포함하여 많은 영역으로부터 주어지며 *그외의 과제의 예측 그리고 *학습데이터 집합의 효과적인 확장이 성공적으로 수행되어 왔다.
<연결강도 없는 신경 회로망> 연결강도가 없는 신경회로망은 현재 많은 연구소, 특히 영국의 연구소에서 연구되고 있다. 연결강도가 없는 뉴런은 그 뉴런에 공급되는 학습정보의 룩업 look-up 테이블이다. 그러한 룩업테이블의 네트워크는 두가지 사실의 도움으로 일반화된다. 국소적 일반화 알고리듬에 의해서 뉴런의 레벨에 도입될 수 있는 일반화, 그리고 그러한 뉴런이 식별기라고 불리는 합산구조에서 사용될 수 있다는 사실을 통하여 일반화가 합산조작으로부터 생성된다.
그러한 네트워크들의 주된 이점은 이를테면 텔레비전-해상도의 영상들의 입력등과 같이 실시간 동작을 제공하는 소프트웨어와 하드웨어 모두에 의해 효과적으로 구현될 수 있다는 것이다. 초기 시스템 WISARD의 실제적인 응용은 비디오를 통하여 설명되고 예시될 것이다.
연결강도가 없는 네트워크에 관한 보다 최근의 연구는 연결강도가 없는 뉴런 이 신경망 상태머신의 프로세서로 사용되는 동력학 시스템에 관하여 고려한 다. 특별한 형태의 학습은 이코닉 학습방법과 같은 네트워크에서의 할당 문제를 해결하는데 사용되었다. 이것은 뉴런을 학습시키기 위하여 인터페이스 센서정보를 사용하고 그래서 신경망 상태머신을 사용하여 외부자간의 표현과 그들의 시간적인 관계를 구성한다. 이 표현은 계획과 자연언어 이해 분야의과제에서 사용될 수 있다. 개념학습과 자연언어 학습에 관한 임페리얼 칼리 지의 현재의 연구분야에 관하여 언급할 것이다. MAGNUS라고 불리는 시스템이 설명될 것이다. 이것은 소프트웨어 신경망 상태 머신으로서 1만6천개의 상태 변수를 가지며 유닉스 워크스테이션을 대상으로 C??로 쓰여져 있다. 비디오를 통하여 이 머신의 동작을 예시할 것이다.
<사용자간 접속상 연결모델> 이 강의에서는 사람들이 의사를 표현하는데 사용하는 수단의 모든 형식을 포함하여 보다 자연스럽고 방해를 덜 받고, 외부 환경에 강한 사용자간의 상호 접속 시스템을 개발하는데 목표를 둔 최근의 연구 결과에 대해 다룰 것이다. 현재 멀티미디어(영상.삽화.음향)정보가 대부분의 워크 스테이션과 퍼스널 컴퓨터의 출력 환경상에서 이용가능할 수 있지만 입력 측면에서는 여전히 대부분 키보드나 마우스로 제한되고 있다. 다양한 형식을 사용하는 시도가 대부분 단일 입력 형식에 집중되어왔고 지금까지 제한적인 인정만을 받아왔다.
이런상황을 개선하기 위한 노력의 일환으로 최근 몇 군데 연구소에서 다중신호를 처리하는 방법을 개발하기 시작하였다. 여기에는 대화인식, 문자인식 , 음두, 시각추적, 행동 인식등이 포함된다. 이 강의에서는 이들을 처리하기 위해 지금까지 개발된 신호들과 방법들에 대해서 설명할 것이다. 일부 형식 이 동기적으로 발생되고 신호또는 인식 수준까지 결합될 수 있을 것이며(예 를 들어 음독과 대화 인식), 다른 것들은(예를 들어 행동과 음성 비동기적으로 발생되며, 의미적으로나 실용적인 수준까지 결합 될 수 있을 것이다. 강연자는 우선 음독과 대화인식의 결합, 대화와 행동 인식을 결합한 것에 대한 강사가 속한 연구실에서의 연구 결과를 소개할 것이다. 두 가지 경우에서의결과에 따르면 형식들을 결합함으로써 보다 강하고, 자연스러운 상호작용을 달성할 수 있음을 알 수 있다.
결합 모델은 센서 혼합, 고성능 패턴 분류와 함수 근사화에 대한 보다 뛰어난 해답을 제공해 주기 때문에 이러한 시도에 있어서 특별히 매력적이다. 본 강의는 결합모델에 중점을 둘 것이다. 그러한 모델의 기본에 대한 대강을 설명할 것이며, 이러한 목적에 적합하도록 하기위해서 대규모 연결 시스템과 연결-비연결 혼합시스템을 어떻게 구현하는지에 대해 계속적으로 설명할 것이다. <이창희 기자> <영상데이터 압축 지능시스템> 이 강좌에서는 영상데이터를 압축하기 위한 신경회로망과 퍼지시스템과 같은지능시스템을 개괄적으로 살펴볼 것이다.
영상데이터의디지털적인 표현은 많은 양의 데이터를 필요로 한다. 영상데이터 압축은 주어진 영상을 표현하고 재구성하는데 필요한 데이터의 수를 줄이는 것을 목적으로 하고 있다. 영상데이터 압축은 영상데이터를 대역폭이 한정되어 있는 통신채널을 통하여 영상으로 전송하거나 용량이 한정되어 있는기억매체에 효과적으로 저장하기 위하여 집중적으로 연구되어 왔다.
영상데이터 압축의 주된 아이디어는 영상데이터를 상관성이 적은 데이터를 가지고 표현하거나 또는 영상을 의미있는 작은 부분으로 구분하여 나타내는것이다. 자연적인 영상데이터는 화소들간에 많은 중복성을 포함하고 있으므로 영상데이터 압축은 가능하다. 적응적인 기법들은 부영상, 즉 영상의 작은 블록들을 분류하여 영상데이터 압축의 성능을 향상시킨다. 지능시스템은 영 상활동도의 분포에 따라 부영상들을 효과적으로 분류하거나 영상데이터를 각각 다른 물체들에 해당하는 영역으로 구분할 수 있다. 종래의 분류기법들은 계산시간이 길고 다양한 분포특성을 가지고 있는 많은 실제영상들에 대해 적응성을 가지고 있지 못하다는 단점이 있다. 지능시스템은 입출력 학습데이터 를 학습함으로서 불확실한 조건에서 얻을 수 있는 모든 의사결정 과정을 모 델링을 하지 않고도 예측할 수 있다.
<카오스 이론 응용> 이 강의에서는 인공신경망을 통해 구체화된 시공간의 정보를 처리하기 위해서 집합적 카오스와 같은 비선형 동적시스템에 관한 응용이 제시된다. 이것은 "전반적인 네거티브 오직, N형태의 시그모이드 뉴런"으로부터 발생된 카 오스적 출력들을 2분적으로 병렬배치시켜 신경망과 퍼지로직을 혼합한 것이다. 이러한 카오스적 출력들은 퍼지를 구성하는 함수를 삼각형 형태의 함수 라 정의한다. 최근 우리는 카오스 퍼지이론과 신경망에 관한 연구들의 로제타 스톤"을 개발했다. 이러한 새로운 인공신경망 학습방법은 말할 수 있는퍼지이론을 이루게 되었다. 이것은 어느 특정한 수준까지 사고할 수 있고 특히 실시간 비선형 동적 데이터에 의해 제시된 입력을 갖는 시스템과 같은 곳에 크게 응용된다. 이 강의에서는 비선형 동적시스템의 기초적인 수학이론, 카오스를 위한 이분적 방법, 기초적인 퍼지이론 그리고 필수적인 신경망 학습이론등을 다룬다. 이 강의에서는 카오스, 퍼지, 그리고 뉴런등과 같은 학습에서의 여러가지 비선형 동적현상들이 다음과 같은 4가지 관점에서 설명되고 있다.
*신호와 이미지의 잡음 분리 *컨트롤 기계에서의 카오스 *통신에서의 코딩 *생의학 등 분야, 대규모 병렬 인공신경망 칩에서의 구현기술이 또한 논의된다. 유전자 알고리듬은 자연현상의 진화과정을 관찰하고 이것에 착안하여 개발된 최적화와 기계의 학습을 위한 기술이다. 여기서는 이 분야에 새롭게 관심을갖는 사람들을 위해 유전자 알고리듬에 대한 전반적인 소개와 유전자 알고리 듬에 기초한 여러가지 응용 예에 대해서 설명한다.
이에본 발표자는 먼저 유전자 알고리듬과 기존의 여러가지 알고리듬들을 비교하여 유전자 알고리듬의 개념과 장점을 비롯하여 유전자 알고리듬에 관한몇 가지 사실을 이야기한다. 그리고 나서 유전 조작자와 그와 관계된 몇 가지 내용 등과 같은 유전자 알고리듬을 이루는 기본적인 성분을 이야기 한다. 유전자 알고리듬의 기초적인 이론인 "홀란드의 도식이론"이 유전자 알고리 듬의 진화 구조를 설명하기 위해 소개된다. 또한 응용에 관심있는 사람들을 위해 조합적 최적화, 스케줄 문제 그리고 혼합 시스템 등과 같은 몇 가지 응용 예들이 소개된다. 마지막 결론과 관심 있는 사람들을 위해 읽을만한 자료 들을 제시하고 마친다.
<퍼지 이론 - 하드웨어 응용> 인간은 오랫동안의 경험으로부터 지식을 얻고 그들을 설명하기 위해서 불분명한 언어적 용어들을 포함한 자연언어를 사용하여 그것을 표현한다. 그 불분명한 혹은 모호한 언어적 용어들은 인간의 지식이나 복잡하게 시간적으로 변동하는 시스템들의 특성을 표현하는데 수학적 방정식들보다 훨씬 더 편리 하다. 퍼지 인과응보적 규칙에 의한 시스템 표현은 예를 들자면 "밀폐된 공간의 온도가 매우 높으면 그 공간내의 압력이 높아진다" 등은 시스템의 제어에 편리 하다. 따라서 인과응보적 규칙은 학습, 적응 혹은 자체 조직시스템에 편리하다. 퍼지언어적 용어들은 0에서 1사이값을 가지는 이른바 멤버십함수에 의하여 특성화된다.
멤버십함수의값을 해석하는 것은 초보자나 비전문가가 하기에는 혼동되기 쉽다. 이강연에서는 두가지 종류의 불확실성, 즉 모호함과 무질서함의 차이 가 취급될 것이다. 퍼지추론 혹은 조사적추론이 소개될 것이다. 그럼으로써 강연의 참가자가 실제의 응용에 퍼지논리제어기를 설계할수 있을 것이다. 퍼 지추론은 1988년 본 강사에 의하여 최초로 실리콘에 구현되었다. 이 하드웨어 설계 또한 언급될 것이다. 수학적인 접근으로는 무척 수행하기 어려운 포 도주잔과 생쥐안정화를 퍼지칩을 이용하여 수행되는 것을 비디오시범을 통하여 보여줄 것이다.
이외에도 몇가지 실제응용에도 시범을 보일 것이다.
퍼지시스템,신경회로망, 그리고 카오스시스템의 유사성과 차이점들이 언급될 것이다.
신경 회로망 학회의 국제적인 단체인 APNNA(회장 방승량 포항 공대 교수 가 주최하는 "신경회로망 국제 학술 대회(ICONIP 94 서울)"이 17일 서울 스위스 그랜드 호텔에서 개막됐다. 본사 및 컴퓨터 연구조합이 주관하고 대한전기학회, 대한전자공학회 등이 주최하는 이번 학술 대회는 20일까지 4일간 우리나라를 비롯해 일본, 미국 등세계 각국의 권위있는 신경 회로망석 학들이 참석해 총 3백50편의 기술 논문을 발표한다. 특히 행사 첫날인 17일 에는 뉴럴 네트워크를 비롯해 신경회로망 관련 분야별로 개별 강연이 개최됐다. 또한 18일에는 하이브리드 시스템을 비롯한 야간 워크숍도 열린다. 이번학술 대회에 발표되는 국내외 석학들의 주요 논문내용을 간추린다.
<편집자주>