목록하이퍼 파라미터 최적화 2차 미분 (1)

My Vision, Computer Vision

[딥러닝 공부] 딥러닝 최적화4 - 하이퍼 파라미터 최적화

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/43 이 글에서 이어집니다.하이퍼 매개변수 최적화하이퍼 매개변수(Hyper Parameter)란 모델의 외부에서 작용하는 매개변수들을 의미한다. 지금까지 모델의 내부 매개변수들은 $\Theta, \mathbf w$등으로 표시를 했는데, 이 매개변수들은 학습을 통해 추정할 수 있다는 특징이 있지만 하이퍼 매개변수들은 사용자가 직접 정해주어야 하며, 이 과정에서 사용자의 노하우가 개입될 수 있다. 그 외 격자 탐색 방법과 임의 탐색 방법을 이용하여 좋은 성능을 보여주는 하이퍼 매개변수를 찾을 수 도 있다.  하지만 위 방법들로 찾은 하이퍼 ..
공부 2025. 1. 3. 19:24
이전 Prev 1 Next 다음