| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- 원격 학습 안끊기게
- 이미지 필터링
- 1차 미분 마스크
- evaluating object hallucination in large vision-language models 논문
- dinov2: learning robust visual features without supervision
- 논문 요약
- evaluating object hallucination in large vision-language models paper
- 딥러닝 목적함수
- dinov2: learning robust visual features without supervision 논문 리뷰
- 엔트로피란
- clip adapter
- polling-based object probing evaluation
- vlm
- clip
- 기계학습
- mobilenetv1
- blip-2
- vlm hallucination paper
- dinov2: learning robust visual features without supervision 논문
- 객체 검출
- 논문 리뷰
- vlm hallucination
- Object detection article
- 딥러닝 엔트로피
- evaluating object hallucination in large vision-language models
- dinov2 논문 리뷰
- vlm 환각이란
- vlm 환각
- object detection
- 에지 검출
- Today
- Total
목록딥러닝 엔트로피 (2)
My Vision, Computer Vision
[딥러닝 공부] 정보 이론과 엔트로피이 글은『크리스토퍼 비숍, 패턴 인식과 머신 러닝, 김형진 옮김, 제이펍(2018년)』에서 공부한 내용을 토대로 작성되었다.정보 이론(Information Theory)정보 이론이란 정보를 수학적으로 정의하고 측mvcv.tistory.com 정보량, 엔트로피는 위 글을 참고할 것.Kullback-Leibelr Divergence(쿨백-라이블러 발산)두 확률 분포 $P(x)$와 $Q(x)$ 간의 차이를 측정하는 비대칭적 척도이다.분포간의 "정보 손실"을 나타낸다.$$D_{KL}(P||Q) = \sum_x P(x)\log \frac{P(x)}{Q(x)}$$$P(x)$ : 실제 데이터 분포$Q(x)$ : 모델이 추정한 분포$\log\frac{P(x)}{Q(x)}$ : $Q(..
[딥러닝 공부] 정보 이론과 엔트로피
이 글은『크리스토퍼 비숍, 패턴 인식과 머신 러닝, 김형진 옮김, 제이펍(2018년)』에서 공부한 내용을 토대로 작성되었다.정보 이론(Information Theory)정보 이론이란 정보를 수학적으로 정의하고 측정하는 방법을 연구하는 학문이다. 머신 러닝은 데이터 정보를 다루기 때문에 정보 이론의 개념이 중요하다. (실제로 loss 함수에서 엔트로피 개념이 쓰임) 정보량(Information Content)이산 확률 변수 $x$가 있다고 하자. 이 때, 이 $x$가 가지고 있는 정보량이라는게 있다. 정보량은 ‘놀라움의 정도’라고도 하는데, 일어날 가능성이 낮은 사건이 발생했을 때의 정보량이 더 크기(더 놀랍기) 때문이다. 즉 정보량은 $x$가 발생할 확률에 반비례하며 따라서 확률 분포 $p(x)$에 종속..