Neural Network의 역사와 기술적 발전과 연구 (feat. 고냥이)
1958년에서 1959년, 데이비드 H. 허벨(David H. Hubel)과 토스텐 위젤(Torsten Wiesel)은 시각 피질의 구조에 대한 결정적인 힌트를 얻은 고양이 실험을 진행했습니다.
고양이가 어떤 자극을 보았을 때 시각적 신경이 어떻게 전달되는지 실험을 통한 증명을 했습니다.
처음 두 눈으로 관찰 했을때는 간단한 simple cells이 자극이 되어 다음 셀로 전달이 됩니다.
그다음 조금 더 복잡한 Cell에서 자극을 받은 정보를 모두 받고,
또 다음 Cell로 전달하여 더 복잡한 Cell에서 인식하게 합니다.
최종적으로는 이렇게 전달된 많은 복잡한 정보들을 통해 "사물을 인식한다."라는 것을 실험을 통해 증명하였습니다.
이러한 생물학적으로 동작하는 메커니즘을 사람이 고안하는 아키텍처가 정보를 뽑아서 전달할 수 있다면 모방할 수 있다고 생각하여 연구했다고 합니다!
이러한 아키텍쳐가 지금의 신경망과 유사하고 기원이 되었다고 합니다.
이들은 이 실험을 통해 시각 피질 안에 있는 수많은뉴런이 작은 국부 수용 영역(local receptive field)을 갖고 있다는 것을 확인했다.
[참고] wiki
이는 뉴런이 시야에 들어온 일부 범위 안에 들어온 시각 자극에만 반응한다는 뜻이다. 뉴런의 수용 영역은 서로 겹칠 수 있으며, 이렇게 서로 겹친 수용 영역이 얼러져 전체 시야가 이루어진다. 또한 어떤 뉴런은 수직선의 이미지에만 반응하고, 어떤 뉴런은 특정 각도의 선에만 반응하는 반면에 어떤 뉴런은 넓은 수용 영역을 가진 데 반해 저수준의 패턴이 합친 복잡한 패턴(글귀 사물 등)에 반응한다는 것이 밝혀졌다.
이러한 관찰을 통해 허벨과 위젤은 높은 수준을 갖춘 뉴런이 바로 옆에 있는 낮은 수준을 가진 뉴런의 출력에 기반한다는 아이디어를 고안했다. 이 아이디어가 바로 지금의 합성곱 신경망으로 발전해 온 것이다. 이후 1998년에 발표된 '사물 인식에 적용하는 그라디언트 기반 학습'(LeCun et al., 1998) 논문에서 손글씨 숫자를 인식하는 데 사용한 LenNet-5를 소개하면서 합성곱 신경망이 이 세상에 등장하게 되었다.
댓글