My Vision, Computer Vision

Overview본 논문에서는 CLIP 모델을 REF(Referring Expression Segmentation) Task에 사용한다.동시에 Vision-Language Decoder 및 Text-to-pixel 대조 학습을 제안한다.Problem Statement(당시) Multi-modal 분야에서 CLIP 모델이 성공적인 결과를 보여준 바 있다. 따라서 본 논문에서는 CLIP을 RES에 도입한다.하지만 위 사진에서처럼, CLIP을 Naive하게 사용하는 방법으로는 최적의 성능을 내지 못하는데, 이유는 Pixel-level 예측 태스크인 RES와 다르게, CLIP은 Image-level(Contrastive)로 훈련되었기 때문이다.따라서 시각적 특징을 세부적으로 학습해야하는 목표와 맞지 않게, CLI..

SLIP: Self-supervision meets Language-Image Pre-trainingRecent work has shown that self-supervised pre-training leads to improvements over supervised learning on challenging visual recognition tasks. CLIP, an exciting new approach to learning with language supervision, demonstrates promising performance on a wiarxiv.org Abstact본 연구에서는 Self-supervised learning(자기 지도 학습)이 Visual representation lea..

Learning Transferable Visual Models From Natural Language SupervisionState-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual coarxiv.orgAbstract기존 State-of-the-art 컴퓨터 비전 모델은 사전에 정의된, 고정된 객체 범주, Train..

GitHub - openai/CLIP: CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image - openai/CLIP github.com 이 글은 위 Github을 참고하여 작성했습니다. 본 글에서는 Open AI의 CLIP 모델 사용법을 알려드리려고 합니다. CLIP은 이미지와 텍스트를 혼합하여 학습시킨 모델입니다. 이미지와 텍스트를 입력하면 이미지와 텍스트 간의 유사도를 출력해 줍니다. Google..