목록AdaGrad (1)

My Vision, Computer Vision

[딥러닝 공부] 딥러닝 최적화2 - 모멘텀, 적응적 학습률, 배치 정규화

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/42 이 글에서 이어집니다.가중치 초기화신경망의 가중치는 난수를 생성해 초기화하는데, 여기에서도 문제가 발생할 수 있다. 위 왼쪽 그림처럼 가중치가 모두 같은 값 0.5로 초기화되거나 오른쪽 그림처럼 같은 노드에 연결된 가중치가 같게 초기화될 수 있다. 이러한 경우를 대칭적 가중치가 발생했다고 한다. 이 문제가 발생하면 $z^{j-1}_1$과 $z^{j-1}_2$의 값이 같아지게 되고 가중치의 그래디언트도 같아진다. 따라서 $u$들이 모두 같은 값으로 갱신된다. 보통 이 문제를 해결하기 위해 두 가지의 가중치 초기화 방법을 사용한다. $..
공부 2025. 1. 3. 15:11
이전 Prev 1 Next 다음