My Vision, Computer Vision

Evaluating Object Hallucination in Large Vision-Language ModelsInspired by the superior language abilities of large language models (LLM), large vision-language models (LVLM) have been recently explored by integrating powerful LLMs for improving the performance on complex multimodal tasks. Despite the promising progrearxiv.orgAuthor : Li, Yifan, et al.Journal : EMNLP 2023Keyword : Hallucination,..

Evaluation Metrics for VLM BenchmarkVLM 벤치마크에서 자주 사용되는 평가 지표 5가지에 대해 알아보자.BLEU, METEOR, ROUGE, CIDEr, SPICE먼저 BLEU와 METEOR는 기계 번역(Machine Translation, MT)의 성능을 측정하기 위해 고안된 지표이다.ROUGE는 4가지 버전이 있고, 요약(Summary) 성능을 측정하기 위해 고안된 지표이다.CIDEr, SPICE는 이미지 캡셔닝 모델의 평가 지표로, 직접적으로 Vision-Langauge를 타겟팅한 메트릭이다.Candidation, Reference란?위 평가 지표들은 모두 모델의 성능을 측정하기 위해 만들어진 지표이다.따라서 모델이 출력한 답과 실제 정답을 비교하는 과정이 필요한데, 모..

ROUGE: A Package for Automatic Evaluation of SummariesPublished Date: 2004년 7월 1일 ROUGE: A Package for Automatic Evaluation of SummariesChin-Yew Lin. Text Summarization Branches Out. 2004.aclanthology.orgAbstractROUGE는 기계 요약 성능을 측정하기 위해 만들어진 평가 지표이다.ROUGE는 Recall-Oriented Understudy for Gisting Evaluation의 약자이다.기계가 요약한 내용과 인간이 요약한(이상적인) 내용의 오버래핑을 카운트하는 평가 지표이다.Methods본 논문에서 제안하는 ROUGE는 4가지로, ROU..

Visual Instruction TuningInstruction tuning large language models (LLMs) using machine-generated instruction-following data has improved zero-shot capabilities on new tasks, but the idea is less explored in the multimodal field. In this paper, we present the first attempt to use larxiv.orgAbstractLanguage-only GPT-4를 사용하여 Language-image instruction-following data를 생성하는 첫번째 시도.LLaVA(Large Languag..

[딥러닝 공부] 정보 이론과 엔트로피이 글은『크리스토퍼 비숍, 패턴 인식과 머신 러닝, 김형진 옮김, 제이펍(2018년)』에서 공부한 내용을 토대로 작성되었다.정보 이론(Information Theory)정보 이론이란 정보를 수학적으로 정의하고 측mvcv.tistory.com 정보량, 엔트로피는 위 글을 참고할 것.Kullback-Leibelr Divergence(쿨백-라이블러 발산)두 확률 분포 $P(x)$와 $Q(x)$ 간의 차이를 측정하는 비대칭적 척도이다.분포간의 "정보 손실"을 나타낸다.$$D_{KL}(P||Q) = \sum_x P(x)\log \frac{P(x)}{Q(x)}$$$P(x)$ : 실제 데이터 분포$Q(x)$ : 모델이 추정한 분포$\log\frac{P(x)}{Q(x)}$ : $Q(..

이번에는 가우시안 분포를 비롯하여 딥러닝 목적 함수에 자주 등장하는 분포들인 베르누이 분포와 라플라스 분포에 대해 알아보자.베르누이 분포는 딥러닝 목적 함수에서 자주 등장하는 분포이며, Binary Cross Entropy에서 사용된다. 라플라스 분포는 가우시안 분포와 유사하게 뾰족한 종 모양으로 그려지는 분포이다.Bernoulli Distribution(베르누이 분포)이진 확률 분포의 일종으로, 두가지 가능한 결과 중 하나가 발생할 확률을 모델링한다. 발생할 수 있는 사건이 두 가지 경우밖에 없기때문에 이산 확률 분포이다.  따라서 PMF(Probability Mass Function, 확률 질량 함수)로 정의할 수 있다. $$P(X=x) = p^x(1-p)^{1-x}, \quad x \in {0, 1..