이전 까지의 내용 이전 글에서는 각 층의 출력값 자체를 안정화하는 방법인 배치 정규화를 다루고 학습식을 개선할 필요성에 대해 살펴보았습니다. 이번 글에서는 학습식을 어떻게 개선해나가고 있는지에 대해 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. MLP 의 문제점 여러 문제를 풀어내는데 능한 MLP 지만, 영상이나 이미지를 처리하는데 있어서 MLP 는 문제점이 있습니다. 숫자 1을 MLP 로 인식하는 예를 한 번 들어보겠습니다. 같은 숫자 1 임에도 불구하고 좌측으로 한 칸씩만 움직이면 인풋값이 20개가 변화합니다. 이는 학습해놓은 weight 들이 모두 무력화되는 결과를 갖고옵니다. 이를 해결하기 위해서 위치나 기울기 등이 아닌 특징을 찾..
이전 까지의 내용 이전 글에서는 각 층의 출력값 자체를 안정화하는 방법인 배치 정규화를 다루고 학습식을 개선할 필요성에 대해 살펴보았습니다. 이번 글에서는 학습식을 어떻게 개선해나가고 있는지에 대해 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. Optimizer Optimization 이라는 단어는 수학적으로 많이 사용되는 단어입니다. 수리 계획 또는 수리 계획 문제라고도 하고 물리학이나 컴퓨터에서의 최적화 문제는 생각하고 있는 함수를 모델로 한 시스템의 에너지를 나타낸 것으로 여김으로써 에너지 최소화 문제라고도 부르기도 합니다. 딥러닝에서 Optimization 은 학습속도를 빠르고 안정적이게 하는 것이라고 말할 수 있습니다.협곡에서 옵..
이전 까지의 내용 이전 글에서는 가중치 초기화의 방법들에 대해서 살펴보고 출력값 자체를 정규화하는 아이디어에 대해 살펴보았습니다. 이번 글에서는 각 층의 출력값 자체를 안정화하는 방법인 배치 정규화를 다룰 예정입니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 배치 정규화 배치 정규화는 각 층의 출력값들을 정규화하는 방법입니다. 배치라는 단어는 전체 데이터에서 일부분을 칭하는 단어 입니다. 신경망을 학습시킬 때 보통 전체 데이터를 한 번에 학습시키지 않고 조그만 단위로 분할해서 학습을 시키는데 이 때의 조그만 단위가 배치입니다. 배치별로 구분하고 각각의 출력값들을 정규화 하기 때문에 배치 정규화 라는 이름을 갖고 있습니다.Part.5 , Part.6 ..
이전 까지의 내용 이전 글에서는 Vanishing Gradient 현상이 왜 일어나는지, 어떻게 해결해 나가는지와 가중치 초기화 (weight initialization) 가 왜 중요한지에 대해 살펴보았습니다. 이번 글에서는 가중치 초기화의 방법들에 대해서 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 가중치 초기화의 중요성 처음 weight 값들을 평균이 0이며 표준편차가 1인 표준 정규분표를 이용해 초기화 했을 경우에 Sigmoid 함수의 출력값이 0 과 1에 치우치는 현상이 발생합니다. 이 현상이 왜 문제인지 살펴보기 위해 Sigmoid 의 개형을 다시 한 번 살펴보겠습니다. 출력값이 0 과 1 에 치우치면 Gradient 는 0 에..
- Total
- Today
- Yesterday
- 리트
- 광명
- 알고리즘
- 블라인드
- 백준
- sql
- 의사결정트리
- ML
- ALIAS
- 산업단지
- PPT
- 넘파이
- 리눅스
- 첨단산업단지
- Oracle
- dict
- 카카오
- 일반산업단지
- 딥러닝
- KNN
- 지도학습
- 시흥
- 로스쿨
- 신입 공채
- python
- 블라인드 코딩
- 코딩테스트
- 파이썬
- 머신러닝
- MLP
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |