곰가드의 라이브러리

이전 까지의 내용 이전 글에서는 가중치 초기화의 방법들에 대해서 살펴보고 출력값 자체를 정규화하는 아이디어에 대해 살펴보았습니다. 이번 글에서는 각 층의 출력값 자체를 안정화하는 방법인 배치 정규화를 다룰 예정입니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 배치 정규화 배치 정규화는 각 층의 출력값들을 정규화하는 방법입니다. 배치라는 단어는 전체 데이터에서 일부분을 칭하는 단어 입니다. 신경망을 학습시킬 때 보통 전체 데이터를 한 번에 학습시키지 않고 조그만 단위로 분할해서 학습을 시키는데 이 때의 조그만 단위가 배치입니다. 배치별로 구분하고 각각의 출력값들을 정규화 하기 때문에 배치 정규화 라는 이름을 갖고 있습니다.Part.5 , Part.6 ..

이전 까지의 내용 이전 글에서는 Vanishing Gradient 현상이 왜 일어나는지, 어떻게 해결해 나가는지와 가중치 초기화 (weight initialization) 가 왜 중요한지에 대해 살펴보았습니다. 이번 글에서는 가중치 초기화의 방법들에 대해서 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 가중치 초기화의 중요성 처음 weight 값들을 평균이 0이며 표준편차가 1인 표준 정규분표를 이용해 초기화 했을 경우에 Sigmoid 함수의 출력값이 0 과 1에 치우치는 현상이 발생합니다. 이 현상이 왜 문제인지 살펴보기 위해 Sigmoid 의 개형을 다시 한 번 살펴보겠습니다. 출력값이 0 과 1 에 치우치면 Gradient 는 0 에..

이전 까지의 내용 이전 글에서는 역전파 알고리즘에 대해 예제를 통해 살펴보았고 Vanishing Gradient 현상에 대해 살펴보았습니다. 이번 글에서는 Vanishing Gradient 현상이 왜 일어나는지, 어떻게 해결해 나가는지에 대해 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. Vanishing Gradient 정의 및 원인 Vanishing Gradient 문제는 MLP 를 학습시키는 방법인 Backpropagation 중 Gradient 항이 사라지는 문제 입니다. 이전 글에서 Backpropagation 학습식을 보면 Cost Function 의 Gradient 항이 존재하는 것을 알 수 있습니다. 이 항이 0이나 0에 가..

이전 까지의 내용 이전 글에서는 MLP 가 수많은 parameter 들을 학습하기 위해 어떤 것들이 (Activation Function, Learning Rate, Cost Function, 학습 식) 필요한지에 대해서 알아보았습니다. 이번 글에서는 이 개념들을 통해 실제로 학습하는 과정인 역전파 알고리즘에 대해 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 역전파 알고리즘 이전 글에서 자유투 연습 동영상과 MLP 의 학습이 비슷하다고 말한 적이 있습니다. 자유투를 던지는 과정은 순전파 과정 (Feed Forward) 라고 할 수 있고 던진 공이 어느 지점에 도착했는지를 확인하고 던질 위치를 수정하는 과정을 역전파 과정 (Backprop..