목록L1 Norm (1)

My Vision, Computer Vision

[딥러닝 공부] 딥러닝 최적화3 - 규제 기법, 하이퍼 파라미터 최적화

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/43 이 글에서 이어집니다. 규제의 필요성과 원리딥러닝 모델의 올바른 학습을 위해서는 데이터의 용량에 따라 적절한 크기의 모델을 구현해야 한다. 위 그래프에서 처럼 모델 용량이 데이터의 용량에 비해 커지면 커질 수록 성능이 좋아지는 것은 아니다. 모델의 용량이 적으면 모델을 과소적합되고, 모델의 용량이 커지면 과잉적합될 가능성이 커진다. 큰 데이터셋에 작은 모델을 학습시키면 모델이 잘 학습되지 않는 것을 과소적합이라하고, 데이터셋에 비해 큰 용량의 모델을 학습시키면 학습 데이터에만 맞춰져 일반화 능력은 떨어지는 것을 과(잉)적합이라고 한..
공부 2025. 1. 3. 19:08
이전 Prev 1 Next 다음