[딥러닝] 뉴럴 네트워크 Part. 6 - 가중치 초기화
이전 까지의 내용 이전 글에서는 Vanishing Gradient 현상이 왜 일어나는지, 어떻게 해결해 나가는지와 가중치 초기화 (weight initialization) 가 왜 중요한지에 대해 살펴보았습니다. 이번 글에서는 가중치 초기화의 방법들에 대해서 살펴보겠습니다.전체 내용은 SlideShare 에서 한번에 보실 수 있으며 youtube 로도 볼 수 있습니다. 가중치 초기화의 중요성 처음 weight 값들을 평균이 0이며 표준편차가 1인 표준 정규분표를 이용해 초기화 했을 경우에 Sigmoid 함수의 출력값이 0 과 1에 치우치는 현상이 발생합니다. 이 현상이 왜 문제인지 살펴보기 위해 Sigmoid 의 개형을 다시 한 번 살펴보겠습니다. 출력값이 0 과 1 에 치우치면 Gradient 는 0 에..
머신러닝
2018. 3. 27. 09:31
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- PPT
- ALIAS
- 신입 공채
- 광명
- dict
- 리트
- 백준
- MLP
- 리눅스
- 첨단산업단지
- 파이썬
- 블라인드 코딩
- 일반산업단지
- ML
- 의사결정트리
- 넘파이
- Oracle
- 산업단지
- 코딩테스트
- 머신러닝
- 딥러닝
- sql
- 지도학습
- 로스쿨
- KNN
- python
- 블라인드
- 시흥
- 알고리즘
- 카카오
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함