My Vision, Computer Vision

지쏙(GSoC) 프로젝트가 시작한지 아직도 한 달 반이다..영어가 잘 안되는 걸 알면서 맨 땅에 해딩을 해보았지만 생각보다 빡세다.역시 제일 필요하고 제일 중요하고 제일 급한 건 언어 공부인가보다. 나는 독일 인텔에 계신 멘토 두 분과 함께하고 있는데 이 분들은 영어가 유창하다.미팅할 때 가끔 하나씩 물어보시는데 "Okay"라고만 대답한 적이 두어 번있다. 어찌됐든 이제 한 달 반이 지나서 이번주에 중간 평가가 끝이 났고 이제 후반이다.Midterm Evaluations지쏙(GSoC)은 6월부터 9월까지 3개월동안 진행되는데, 중간에 Midterm Evaluations가 한 번 있고 마지막에 Final Evaluations가 있다. 중간 평가가 무슨 시험이나 발표같은 건 줄 알았는데 그냥 설문조사였다.작..

Overview본 논문에서는 CLIP 모델을 REF(Referring Expression Segmentation) Task에 사용한다.동시에 Vision-Language Decoder 및 Text-to-pixel 대조 학습을 제안한다.Problem Statement(당시) Multi-modal 분야에서 CLIP 모델이 성공적인 결과를 보여준 바 있다. 따라서 본 논문에서는 CLIP을 RES에 도입한다.하지만 위 사진에서처럼, CLIP을 Naive하게 사용하는 방법으로는 최적의 성능을 내지 못하는데, 이유는 Pixel-level 예측 태스크인 RES와 다르게, CLIP은 Image-level(Contrastive)로 훈련되었기 때문이다.따라서 시각적 특징을 세부적으로 학습해야하는 목표와 맞지 않게, CLI..

GSVA: Generalized Segmentation via Multimodal Large Language ModelsGeneralized Referring Expression Segmentation (GRES) extends the scope of classic RES to refer to multiple objects in one expression or identify the empty targets absent in the image. GRES poses challenges in modeling the complex spatial relationships of tarxiv.orgAuthor: Xia, Zhuofan, et al.Journal: CVPR 20204Published Date: 202..

Bring Adaptive Binding Prototypes to Generalized Referring Expression SegmentationReferring Expression Segmentation (RES) has attracted rising attention, aiming to identify and segment objects based on natural language expressions. While substantial progress has been made in RES, the emergence of Generalized Referring Expression Segmentarxiv.orgAuthor : Li, Weize, et al.Journal : IEEE Transactio..

Vision Transformers for Dense PredictionWe introduce dense vision transformers, an architecture that leverages vision transformers in place of convolutional networks as a backbone for dense prediction tasks. We assemble tokens from various stages of the vision transformer into image-like represearxiv.org Author : Ranftl, R., Bochkovskiy, A., & Koltun, V.Journal : ICCV 2021Keyword : DPRPublished ..

ALBERT: A Lite BERT for Self-supervised Learning of Language RepresentationsIncreasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases become harder due to GPU/TPU memory limitations and longer training times. Toarxiv.orgAuthor : Lan, Zhenzhong, et al.Journal : ICLR 2020Keyword ..