일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- gsoc가 뭔가요
- vlm
- 에지 검출
- clip adapter
- 엔트로피란
- 딥러닝 목적함수
- gsoc 2025
- mobilenetv1
- 논문 리뷰
- 딥러닝 엔트로피
- 이미지 필터링
- grefcoco dataset
- res paper
- res
- Object detection article
- blip-2
- referring expression segmentation
- 1차 미분 마스크
- 원격 학습 안끊기게
- object detection
- gsoc 후기
- 객체 검출
- 논문 요약
- gres
- grefcoco
- gsoc 지원
- gsoc
- google summer of code
- 기계학습
- clip
- Today
- Total
My Vision, Computer Vision
[딥러닝 공부] KL Divergence와 Cross Entropy 본문
[딥러닝 공부] 정보 이론과 엔트로피
이 글은『크리스토퍼 비숍, 패턴 인식과 머신 러닝, 김형진 옮김, 제이펍(2018년)』에서 공부한 내용을 토대로 작성되었다.정보 이론(Information Theory)정보 이론이란 정보를 수학적으로 정의하고 측
mvcv.tistory.com
정보량, 엔트로피는 위 글을 참고할 것.
Kullback-Leibelr Divergence(쿨백-라이블러 발산)
두 확률 분포 $P(x)$와 $Q(x)$ 간의 차이를 측정하는 비대칭적 척도이다.
분포간의 "정보 손실"을 나타낸다.
$$D_{KL}(P||Q) = \sum_x P(x)\log \frac{P(x)}{Q(x)}$$
- $P(x)$ : 실제 데이터 분포
- $Q(x)$ : 모델이 추정한 분포
- $\log\frac{P(x)}{Q(x)}$ : $Q(x)$로 $P(x)$를 설명하기 위한 "비효율성"
$P(x) = Q(x)$ 일 때, $D_{KL}(P||Q)=0$ 으로 최소이다.
두 분포 $P(x)$와 $Q(x)$의 차이가 클수록 $\log \frac{P(x)}{Q(x)}$ 가 커진다.
또한 항상 $D_{KL}(P||Q) \ge 0$ 이다. $Q(x)$가 $P(x)$를 설명하는데 "추가 정보"가 필요하기 때문이다.
따라서 KL Divergence를 모델의 예측 분포와 정답 레이블 분포의 차이를 최소화하는 데에 사용한 것이 Cross Entropy Loss이다.
Cross Entropy Loss
$$D_{KL}(P||Q) = \sum_x P(x)\log\frac{P(x)}{Q(x)}$$
이 식을 풀어쓰면
$$= \sum P(x)\log P(x) - \sum P(x)\log Q(x)$$
로 나타낼 수 있는데, 여기서 $P(x)\log P(x)$는 $P(x)$의 엔트로피이고, $P(x)\log Q(x)$는 $Q(x)$에 대한 $P(x)$의 Cross Entropy이다.
엔트로피로 바꾸어서 위 식을 다시 쓰면,
$$D_{KL}(P||Q) = H(P,Q) - H(P)$$
이다.
$H(P)$는 $P(x)$의 엔트로피인데, $P(x)$가 이미 고정된 분포이므로 상수이기 때문에 $H(P, Q)$를 최소화하는 것이 $D_{KL}(P||Q)$ 를 감소시킨다.
'공부' 카테고리의 다른 글
[논문 요약/리뷰] ROUGE: A Package for Automatic Evaluation of Summaries (0) | 2025.02.27 |
---|---|
[논문 리뷰/요약] LLaVA : Visual Instruction Tuning (1) | 2025.02.02 |
[딥러닝 공부] Bernoulli Distribution, Laplace Distribution(베르누이 분포, 라플라스 분포) (1) | 2025.01.15 |
[딥러닝 공부] 딥러닝 최적화4 - 하이퍼 파라미터 최적화 (5) | 2025.01.03 |
[딥러닝 공부] 딥러닝 최적화3 - 규제 기법, 하이퍼 파라미터 최적화 (0) | 2025.01.03 |