My Vision, Computer Vision

지쏙(GSoC) 프로젝트가 시작한지 아직도 한 달 반이다..영어가 잘 안되는 걸 알면서 맨 땅에 해딩을 해보았지만 생각보다 빡세다.역시 제일 필요하고 제일 중요하고 제일 급한 건 언어 공부인가보다. 나는 독일 인텔에 계신 멘토 두 분과 함께하고 있는데 이 분들은 영어가 유창하다.미팅할 때 가끔 하나씩 물어보시는데 "Okay"라고만 대답한 적이 두어 번있다. 어찌됐든 이제 한 달 반이 지나서 이번주에 중간 평가가 끝이 났고 이제 후반이다.Midterm Evaluations지쏙(GSoC)은 6월부터 9월까지 3개월동안 진행되는데, 중간에 Midterm Evaluations가 한 번 있고 마지막에 Final Evaluations가 있다. 중간 평가가 무슨 시험이나 발표같은 건 줄 알았는데 그냥 설문조사였다.작..

Overview본 논문에서는 CLIP 모델을 REF(Referring Expression Segmentation) Task에 사용한다.동시에 Vision-Language Decoder 및 Text-to-pixel 대조 학습을 제안한다.Problem Statement(당시) Multi-modal 분야에서 CLIP 모델이 성공적인 결과를 보여준 바 있다. 따라서 본 논문에서는 CLIP을 RES에 도입한다.하지만 위 사진에서처럼, CLIP을 Naive하게 사용하는 방법으로는 최적의 성능을 내지 못하는데, 이유는 Pixel-level 예측 태스크인 RES와 다르게, CLIP은 Image-level(Contrastive)로 훈련되었기 때문이다.따라서 시각적 특징을 세부적으로 학습해야하는 목표와 맞지 않게, CLI..