My Vision, Computer Vision

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and GenerationVision-Language Pre-training (VLP) has advanced the performance for many vision-language tasks. However, most existing pre-trained models only excel in either understanding-based tasks or generation-based tasks. Furthermore, performance improvement has beearxiv.orgAbstractVision-Langauge Pre-t..

Visual Instruction TuningInstruction tuning large language models (LLMs) using machine-generated instruction-following data has improved zero-shot capabilities on new tasks, but the idea is less explored in the multimodal field. In this paper, we present the first attempt to use larxiv.orgAbstractLanguage-only GPT-4를 사용하여 Language-image instruction-following data를 생성하는 첫번째 시도.LLaVA(Large Languag..

[딥러닝 공부] 정보 이론과 엔트로피이 글은『크리스토퍼 비숍, 패턴 인식과 머신 러닝, 김형진 옮김, 제이펍(2018년)』에서 공부한 내용을 토대로 작성되었다.정보 이론(Information Theory)정보 이론이란 정보를 수학적으로 정의하고 측mvcv.tistory.com 정보량, 엔트로피는 위 글을 참고할 것.Kullback-Leibelr Divergence(쿨백-라이블러 발산)두 확률 분포 $P(x)$와 $Q(x)$ 간의 차이를 측정하는 비대칭적 척도이다.분포간의 "정보 손실"을 나타낸다.$$D_{KL}(P||Q) = \sum_x P(x)\log \frac{P(x)}{Q(x)}$$$P(x)$ : 실제 데이터 분포$Q(x)$ : 모델이 추정한 분포$\log\frac{P(x)}{Q(x)}$ : $Q(..

SLIP: Self-supervision meets Language-Image Pre-trainingRecent work has shown that self-supervised pre-training leads to improvements over supervised learning on challenging visual recognition tasks. CLIP, an exciting new approach to learning with language supervision, demonstrates promising performance on a wiarxiv.org Abstact본 연구에서는 Self-supervised learning(자기 지도 학습)이 Visual representation lea..

[논문 링크 : https://aclanthology.org/P18-1238.pdf]Abstract본 논문은 Conceptual Captions라는, 이미지 캡션으로 어노테이션된 데이터셋을 제시한다.이 데이터셋은 이미지 캡션에서 주로 사용되는 데이터셋인 MS-COCO보다 약 20배 많은 330만개이다.약 10억개의 웹페이지로부터 이미지, 텍스트를 추출하고 필터링하여 데이터셋을 구축한다.1. Introduction딥러닝 모델의 발전으로 Automatic image description Task도 발전하고있다.이 분야에서는, Computer vision과 Natural Language Processing의 교집합을 어떻게 다루는지가 중요하다.본 논문에서는 두 가지 Contribution을 제시한다.첫번째는 ..

Scaling Up Visual and Vision-Language Representation Learning With Noisy Text SupervisionPre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual and vision-language representations still rely heavily on cuarxiv.org AbstractNLP에서 Representation Learning은, 사람의..