"만물은 변화한다"는 삼라만상의 이치에 따라 우주의 모든 현상들은 변화하기 마련이다. 봄이 지나가면 여름이 오고 가을이 왔다 싶으면 어느덧 겨울이 온다. 이러한 사계절의 변화는 순환하는 것인데 우리의 인생사에서도 이러한것을 흔히 겪게 된다. 군대생활에서 이등병이 일등병으로 진급할 때면 말년 의 병장들은 제대를 하게 되며 이러한 순환을 거쳐 졸병도 어느 틈엔가 예비 군의 대열에 끼이게 된다.
지능적인 컴퓨터를 개발하는데 바탕이 되는 첨단컴퓨터이론들도 세월의 흐름에 따라 그 방법론이 변하는 것을 본다. 기존이론에서의 문제점들이 노출 었을 때 이를 극복하기 위한 방법론이 강구된다. 만약 약간의 개량만으로 문제 점이 해결된다면 다행이나 근본적인 개선이 요구되는 경우에는 전혀 다른 새로운 이론이 제기될 것이다.
지능적인 컴퓨터이론분야에서 신경망이 차지하는 비중은 생각보다는 훨씬 크고 무겁다. 성공의 가능성을 차치하더라도 인간의 두뇌를 모델링하려는 신경 망의 목표는 거창한 것이다. 인공지능이 주어진 현상가운데서 규칙들을 효과 적으로 추출하여 인간과 유사한 기능을 가진 시스템을 구현하는 것이 목표의 한 단면이라면 신경망은 생물학적 두뇌 자체를 모델링하는 것으로서 보다 근본적으로 지능을 구현하려는 점에서 구별된다.
이와 같이 신경망의 목표는 원대한 것으로부터 출발하였으나 1960년대의 신경망은 이러한 기대에 부응하지 못한채 도중하자하고 말았다. 많은 찬사와 지지속에서 연구되던 신경망에 관한 연구는 1969년 민스키와 파퍼트가 쓴 퍼셉트론즈 라는 저서에 의해 단층 퍼셉트론이 가지고 있는 결정적인 제한점 이 밝혀진 후 급격히 쇠퇴의 길을 걸었다는 점은 이미 밝힌 바 있다. 그럼에도 불구하고 여러명의 신경망관련과학자들은 자기의 관심분야를 중심으로 물밑으로 연구를 계속하였다. 그동안 신경망은 인공지능에 비해 매우 적은 관심과 미미한 연구자금등으로 어려움을 겪었다. 1970년대말과 1980년대초반에 들어 코호넨(Kohonen), 홉필드(Hopfield), 커크패트릭(Kirkpatrick), 힌턴( Hinton), 그로스버그(Grossberg), 러멜하트(Rumel-hart) 등이 신경망을 다시활성화시켰다. 코호넨의 경우에는 1980년에 "자기조직화지도"모델을 만들었는데 이것은 자율학습 신경망의 대표적인 모델이 되었으며 하나의 기하학적 영역에서 다른 영역으로의 매핑을 통하여 자율적으노 패턴을 분류하는 기능을 가지고 있다 홉필드는 1982년에 홉필드모델을 개발하였다. 그는 미국 캘리포니아공과대학의 물리학교수인데 이 모델은 연상기억이나 최적화문제를 병렬로푸는데 많이사용되고있다. 힌턴은 1985년 볼츠만 머신을 발표하였으며 이 모델은 영상이나 수중 전파를 탐지하거나 레이더를 위한 패턴인식이 가능한 모델을 개발하였다.
그로스버그는 1978년부터 1985년사이에 ART모델을 개발하여 복잡한 패턴들을 보다 효율적으로 인식할 수 있는 길을 열었다. 또한 일본의 후쿠시마는 197 8년에 손으로 쓴 숫자를 인식할 수 있는 코그니트론을 개발 하였으며 1984년 에는 보다 개량된 모델인 네오코그니트론으로 발전시켰다.
이와 같이 1970년대와 1980년대 초반에 몇몇 신경망 모델들이 개발 되었으나신경망연구의 불길을 댕긴 것은 다층퍼셉트론의 개발이다.
단층퍼셉트론과 같이 하나의 조정층으로 구성되는 모델들의 한계점들때문에입력층.출력층 그리고 한개 또는 그 이상의 은닉층(H-idden Layer) 을 쓰는다층퍼셉트론 모델이 1980년대중반에 제안되었으며 특히 PDP (Parallel Dist ributed Processing)그룹에 의한 폭넓은 연구가 있었다. 이 그룹에서 제안한 모델은 은닉층과 백프로퍼게이션(Backpro-pagation)학습 알고 리듬을 사용함으로써 선형분리문제 뿐만 아니라 여러가지 문제점들을 해결할 수 있는 계기가 마련되었다.
인공지능적인 방법론에 한계를 느낀 지능시스템관련 연구자들은 새로운 가능성으로서의 신경망에 새로운 기대를 걸었으며 이에 대한 연구에 박차를 가하고 있다.
별로 구매하는 것보다 일괄구매체계를 갖추는 것이 바람직하다는 의견이 제시됐다.