출처 : http://it.plusblog.co.kr/221243919389
1986년 Backpropagation 알고리즘을 발표한 Hinton은 당시 Neural Network에 회의적이었던 학계의 분위기에 어려움을 겪고 있었다. Neural Network라는 제목만 들어가도 논문이 Reject 될 정도였다고 한다. 그런 당시 Hinton은 캐나다로 이주하게 되었고, CIFAR(Canadian Institute for Advanced Research)라는 연구기관의 도움을 받아 뉴럴 네트워크에 대한 연구를 계속할 수 있게 되었다.
CIFAR라는 단체는 당장 돈이 되거나 활용도가 있지 않아도 연구를 할 수 있는 환경을 마련해주는 단체였다. 이 당시 CIFAR의 도움으로 딥러닝으로의 연구가 계속될 수 있었으며, 실제 딥러닝 연구 분야를 이끌고 있는 연구진 중에는 캐나다 출신이 많이 있다.
딥러닝(Deep Learning)의 탄생
Hinton 교수가 CIFAR의 도움을 얻어 뉴럴 네트워크에 대한 연구를 계속한 결과 드디어 2006년 Backpropagation 문제를 해결할 돌파구를 열어 줄 논문을 발표했다. "A fast learning algorithm for deep belief nets, Hinton, Simon Osindero, Yee-Whye Teh". 이어 2007년에도 "Greedy Layer-Wise Training of Deep Networks, Yoshua Bengio et al" 논문이 발표되면서 뉴럴 네트워크에 대한 새로운 문이 열리게 되었다.
2006년도 논문의 핵심은 '뉴럴 네트워크의 초기값이 잘 정해져 있다면, Layer가 많은 뉴럴 네트워크라고 할지라도 잘 학습된다.'였다. 2007년도 논문의 핵심은 '초기값의 중요도를 다시금 확인했고, 뉴럴 네트워크에 Layer를 많이 두게 되면 복잡한 문제를 효과적으로 풀 수 있다'였다. 이 논문이 발표되고 나서 다시금 뉴럴 네트워크에 주목하기 시작했다.
이후 수년간 부정적인 이미지가 박혀있었던 뉴럴 네트워크(Neural Network)라는 단어 대신 딥러닝(Deep Learning)이라는 이름으로 리브랜딩(Rebranding) 한 결과, 지금 우리가 알고 있는 딥러닝이라는 단어가 탄생했다. 딥 러닝은 뉴럴 네트워크의 숨겨진 Hidden Layer가 많아서 매우 깊다(Deep)라는 의미다.
Image Net Challenge
딥러닝(Deep Learning)이 본격적으로 주목받기 시작한 시점은 Image Net Challenge부터였다. 사진을 주고 그 사진이 어떤 사진인지 맞추는 대회다. 약 140만 개의 이미지가 주어지고 1000개의 대상을 식별해내는 과제가 주어진다.
이미지에서 대상을 식별하는 것이 굉장히 복잡한 과제이기 때문에 잘 맞추는 게 쉽지 않다. 컴퓨터 비전 학계에서는 2010년에 에러율 30% 부근에서 겨우 몇 %씩 발전하는 수준으로 개선이 되고 있었다. 이후 2012년에 CNN 알고리즘을 적용하고 에러율이 15%가량까지 떨어지더니 해가 갈수록 에러율이 급격하게 낮아졌다.
심지어 2015년의 연구 결과에서는 사람보다 이미지를 더 잘 인식하게 되었다. 스탠퍼드 학생의 오류율인 5%보다도 낮은 3%를 기록했다.
그림을 분석할 수 있는 딥러닝 알고리즘인 CNN 알고리즘과 자연어 처리(NLP)를 잘 할 수 있는 딥러닝 알고리즘인 RNN을 연결해 그림을 설명할 수 있을 정도까지 딥러닝이 발전했다.
그 밖에 실생활의 다양한 문제들이 딥러닝으로 풀리고 있다. 사람 목소리를 인식해서 텍스트를 추출해내는 딥러닝 알고리즘도 있고, 바둑을 잘 두는 딥러닝 알고리즘도 있다. 이제 자동차 운전도 딥러닝 알고리즘이 하게 될 날이 머지않았다.
그동안 왜 안됐을까?
딥러닝의 돌파구를 마련해준 Hiton 교수는 그동안의 연구를 뒤돌아보면서 뉴럴 네트워크 시절, 왜 잘 안됐을까를 복기하며 4가지를 제시했다.
이 4가지에 대해서는 이후 포스팅에서 다루겠다.