[딥러닝] 뉴럴 네트워크 Part. 2 - 멀티 레이어 퍼셉트론

이전 까지의 내용 

• 이전 글에서 AND 게이트는 해결할 수 있지만 XOR 게이트는 해결하지 못하는 MLP 에 대해서 살펴 봤습니다. 

• 전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다.

XOR 게이트를 풀어보자 

• XOR 게이트는 AND 와 OR, NOT 게이트의 조합으로 만들 수 있습니다. Perceptron 으로 AND 나 OR 게이트를 만들 수 있습니다. 

• 다시말해 여러개의 Perceptron 을 조합하면 XOR 게이트를 만들 수 있다는 의미이기도 합니다.

여러개의 Perceptron - Multi Layer Perceptron 

• Multi Layer Perceptron (MLP) 의 그림 입니다. 두 개의 Perceptron 을 한 층에 구성하고 그 두 개의 Perceptron 을 연결하는 새로운 Perceptron 을 구성한 사례입니다. 위의 XOR 게이트의 모습과 동일하게 구성해본 모습입니다.

• 처음의 값 부분을 Input Layer, 결과가 출력되는 부분을 Output Layer, 그리고 내부의 층들을 Hidden Layer 라고 부릅니다. 그리고 Hidden Layer 가 3층 이상 되면 Deep Neural Network (DNN) 이라고 부릅니다. 딥러닝은 Hidden Layer 가 3개 이상인 인공 신경망을 말하는 것입니다.

• 그럼 이 MLP 가 어떻게 XOR 게이트를 풀어내는 것인지 살펴보겠습니다.

• Not-AND Gate 와 OR Gate 를 한 층에, 그 두 Perceptron 의 결과값을 Input 값으로 하는 AND Gate 가 XOR Gate 가 되는 구조입니다.

MLP 가 결정할 수 있는 영역

• 단층 Perceptron 일 때는 풀 수 없었던 XOR Gate 를 2층으로만 쌓아도 풀 수 있다는 것을 알게 되었습니다. 그렇다면 세상의 모든 것을 다차원 좌표계로 구성한 뒤 분류 해낼 수 있다면? 이 답을 얻는 것이 우리가 실생활에서 겪는 문제를 해결하는 것이겠죠?

• XOR Gate 를 풀 게 된 이후 사람들은 더 깊고 더 넓은 신경망들을 구성하기 시작했습니다. 간단하게 이 영역을 시각화 해보면 다음 그림과 같습니다.

• 1층일 경우에는 선형분리만 가능했다면 2층일 경우에는 구역분리가 가능하고 3층일 경우에는 더 세분화된 분리가 가능합니다. 

• 하지만 이렇게 깊은 층을 쌓아가면서 새로운 문제가 발생합니다. 위의 XOR Gate 의 경우 정해야하는 Parameter 의 개수가 9 개 밖에 없습니다.

• Input Layer 에서 Hidden Layer 로 가는 과정에서 6개, Hidden Layer 에서 Output Layer 로 가는 과정에서 3개로 총 9개만 정해주면 XOR Gate 를 구현할 수 있습니다.

• 하지만 층수가 깊어지고 한 층의 노드 수가 많아진다면 정해주어야할 Parameter 수는 급격히 증가하기 시작합니다. 또한 Parameter 가 독립적이지 않고 서로 관계가 있다는 부분이 Parameter 를 정하기 더 어렵게 만듭니다.

• 더욱 실용적인 문제를 풀기 위해 망은 깊어져야하는데 관련 Parameter 들을 정하는 것이 사람의 힘으로는 할 수 없다는 사실을 느껴가며 인공신경망 연구는 또 다시 정체되기 시작합니다.

• 다음 글에서는 MLP 가 어떻게 Parameter 들을 자동으로 학습하는지 살펴보겠습니다.

다음글 - Part. 3 MLP 학습과정

---

부족한 블로그에 방문해 주셔서 감사합니다.

잘못된 부분이나 질문이 있으시면 

댓글로 말씀해주세요.

금방 확인하고 피드백 드리겠습니다.

좋은 하루 되세요. ^^