My Vision, Computer Vision

Noise-contrastive estimation: A new estimation principle for unnormalized statistical modelsWe present a new estimation principle for parameterized statistical models. The idea is to perform nonlinear logistic regression to discriminate between the observed data and some artificially gene...proceedings.mlr.press이 논문은 대조 학습(Contrastive learning)의 개념을 수학적으로 설명한 논문이다.또한 Vision Langauge Model에서 주로 사..

이번에는 가우시안 분포를 비롯하여 딥러닝 목적 함수에 자주 등장하는 분포들인 베르누이 분포와 라플라스 분포에 대해 알아보자.베르누이 분포는 딥러닝 목적 함수에서 자주 등장하는 분포이며, Binary Cross Entropy에서 사용된다. 라플라스 분포는 가우시안 분포와 유사하게 뾰족한 종 모양으로 그려지는 분포이다.Bernoulli Distribution(베르누이 분포)이진 확률 분포의 일종으로, 두가지 가능한 결과 중 하나가 발생할 확률을 모델링한다. 발생할 수 있는 사건이 두 가지 경우밖에 없기때문에 이산 확률 분포이다.  따라서 PMF(Probability Mass Function, 확률 질량 함수)로 정의할 수 있다. $$P(X=x) = p^x(1-p)^{1-x}, \quad x \in {0, 1..

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/43 이 글에서 이어집니다.하이퍼 매개변수 최적화하이퍼 매개변수(Hyper Parameter)란 모델의 외부에서 작용하는 매개변수들을 의미한다. 지금까지 모델의 내부 매개변수들은 $\Theta, \mathbf w$등으로 표시를 했는데, 이 매개변수들은 학습을 통해 추정할 수 있다는 특징이 있지만 하이퍼 매개변수들은 사용자가 직접 정해주어야 하며, 이 과정에서 사용자의 노하우가 개입될 수 있다. 그 외 격자 탐색 방법과 임의 탐색 방법을 이용하여 좋은 성능을 보여주는 하이퍼 매개변수를 찾을 수 도 있다.  하지만 위 방법들로 찾은 하이퍼 ..

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/43 이 글에서 이어집니다. 규제의 필요성과 원리딥러닝 모델의 올바른 학습을 위해서는 데이터의 용량에 따라 적절한 크기의 모델을 구현해야 한다. 위 그래프에서 처럼 모델 용량이 데이터의 용량에 비해 커지면 커질 수록 성능이 좋아지는 것은 아니다. 모델의 용량이 적으면 모델을 과소적합되고, 모델의 용량이 커지면 과잉적합될 가능성이 커진다. 큰 데이터셋에 작은 모델을 학습시키면 모델이 잘 학습되지 않는 것을 과소적합이라하고, 데이터셋에 비해 큰 용량의 모델을 학습시키면 학습 데이터에만 맞춰져 일반화 능력은 떨어지는 것을 과(잉)적합이라고 한..

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/42 이 글에서 이어집니다.가중치 초기화신경망의 가중치는 난수를 생성해 초기화하는데, 여기에서도 문제가 발생할 수 있다. 위 왼쪽 그림처럼 가중치가 모두 같은 값 0.5로 초기화되거나 오른쪽 그림처럼 같은 노드에 연결된 가중치가 같게 초기화될 수 있다. 이러한 경우를 대칭적 가중치가 발생했다고 한다. 이 문제가 발생하면 $z^{j-1}_1$과 $z^{j-1}_2$의 값이 같아지게 되고 가중치의 그래디언트도 같아진다. 따라서 $u$들이 모두 같은 값으로 갱신된다. 보통 이 문제를 해결하기 위해 두 가지의 가중치 초기화 방법을 사용한다. $..

이 글은『오일석, Machine Learning(기계 학습), 한빛아카데미(2017년)』에서 공부한 내용을 토대로 작성되었다.https://mvcv.tistory.com/41 이 글에서 이어집니다. 평균 제곱 오차(Mean Squared Error)의 문제 위 그림을 보면 입력값 x가 1.5이고 타겟값이 0.0인 상태에서 왼쪽 노드는 0.7503, 오른쪽 노드는 0.9971을 출력값으로 내보낸 상황이다. 출력 노드는 한 개이기 때문에 평균제곱 오차의 목적함수는 다음과 같이 쓸 수 있다. ($\sigma$는 sigmoid 함수) $$e = \frac{1}{2}(y-o)^2 = \frac{1}{2}(y-\sigma(wx+b))^2$$ 위 그림에서 업데이트해야 할 파라미터는 w(weight)와 bias인데, ..