[논문 리뷰/요약]How to Read a Paper

How to read a paper | ACM SIGCOMM Computer Communication Review

---

 

이 article은 논문을 어떻게 읽어야 하는지, 실제로 연구 분야에 대한 서베이를 어떻게 해야 하는지에 대해 다룬다. 나처럼 논문을 이제 막 읽기 시작한, 연구 주제가 제대로 잡히지 않은 입문자에게 도움이 되는 간단한 자료다. 논문을 효율적으로 읽는 방법을 크게 3단계로 나누고 각 단계마다의 목표를 제시한다.

---

Abstract

연구자들은 연구 논문을 읽는데 많은 시간을 할애하지만 논문을 읽는 기술은 거의 배우지도 않고 가르쳐지지도 않는다. 이 article은 논문을 효율적으로 읽을 수 있는 three-pass method(세 가지 단계)와 literature survey(문헌 조사)를 어떻게 해야 하는지 소개한다.

---

1. INTRODUCTION

연구자들이 논문을 읽는 이유는 다양한데, 대게

1. 학회나 수업에 사용하기 위해
2. 자신의 연구 분야를 최신 상태로 유지하기 위해
3. 새로운 분야에 대한 문헌 조사(survey)를 위해

전형적인 연구자는 매년 수백 시간을 논문을 읽는데 할애한다. 논문을 효율적으로 읽는 것은 중요하지만 거의 가르쳐지지 않는 기술이다.

 

따라서 대부분의 학생들은 스스로 시행착오를 거치면서 터득할 수밖에 없고, 이 과정에서 많은 비용이 낭비된다. 저자는 이러한 이유로 실제로 오랫동안 사용해 온 효율적인 논문 읽기 방법을 제시한다.

---

2. THE THREE-PASS APPROACH

Key idea는 논문을 읽을 때 처음부터 끝가지 순차적으로 읽어내기보다는 세 단계(three-pass)에 거쳐서 읽어야 한다는 것이다. 각 단계의 목표는 다음과 같다.

 

• First pass : 논문의 전반적인 아이디어 알기
• Second pass : 세부사항(detail)을 제외한 논문의 내용 이해하기
• Third pass : 논문을 깊이 있게(in depth), 자세히 이해하기

---

2.1 The First pass

First pass는 빠르게 훑는 것에 초점을 맞춘다. 이 단계는 약 5분에서 10분 정도 소요되며 논문의 주제를 파악하면서 더 읽을지 말지 선택하는 단계이다. First pass는 다음과 같은 단계로 구성된다.

1. 논문의 title, abstract, introduction을 자세히 읽는다.
2. Section과 sub-section의 heading(제목)만 읽는다.
3. conclusion을 읽는다.
4. Reference를 훑으며 마음속으로 간단히 정리한다.

First pass에서 위 단계를 끝내면 5개의 질문에 대답할 수 있어야 한다.

1. Category : 어떤 유형의 논문인가?
2. Content : 이 논문과 관련이 있는 논문은? 어떤 이론을 사용해서 문제를 분석했나?
3. Correctness : 가정이 올바른가?
4. Contributions : 이 논문의 주요 기여는 무엇인가?
5. Clarity : 논문이 잘 쓰였는가?

이 과정을 거치면 논문을 더 읽을지 말지 결정할 수 있게 된다. 이유는 다양한데, 주제가 흥미롭지 않거나 잘 아는 분야가 아니거나, 저자들이 잘못된 가정을 하고 있는 경우 등등이다.

 

위와 같은 이유로, 논문을 직접 작성하게 된다면 first-pass에서 요지가 잘 드러나게 써야 한다. 즉 section의 제목은 일관되고 간결하게 정하는 것이 좋고 포괄적인 abstract를 작성해야 한다.

---

2.2 The Second pass

Second pass에서는 논문을 더욱 주의 깊게 읽지만 증명 같은 세부 사항은 무시한다. 읽으면서 key point, comment 등을 여백에 메모하는 것도 좋다.

1. 논문에 실린 그림, 다이어그램 등 illustration, 특히 그래프를 주의 깊게 본다. 오차가 함께 표시되어 있어 결과가 통계적으로 유의한 지 등은 작업의 질을 결정짓는 부분이다.
2. 읽어보지 않은 reference를 체크하며 읽는다(이 방법은 배경을 넓히는 데 도움이 된다.)

Second pass는 한 시간 정도 소요될 수 있다. 이 단계를 완료하면 논문의 내용을 파악할 수 있어야 하고 다른 사람에게 요약할 수도 있어야 한다. 아직까지는 관심 논문을 읽는 단계이고 전문 분야에는 속하지 않는다.

 

이 단계를 거치고도 논문이 이해가 되지 않을 수 있는데 주제가 생소하거나, 이해가 안 되는 증명이나 기술을 사용하거나 그냥 피곤한 것이 이유가 될 수도 있다. 이제 세 가지 중 하나를 선택해야 한다.

1. 이 논문이 자신의 커리어에 도움이 되지 않기를 바라며 치워버린다.
2. 관련 배경 자료를 더 읽은 후에 본 논문을 다시 읽는다.
3. 계속해서 third pass로 진행한다.

---

2.3 The third pass

논문을 완전히 이해하기 위해서는, 특히 심사자(reviewer)의 경우 이 단계가 필요하다.

 

third pass의 핵심은 virtually re-implement, 즉 가상으로 다시 구현해 보는 것이다.

 

이 과정에서 실제 논문과 비교함으로써 논문의 기술뿐만 아니라 숨겨진 결함도 파악할 수 있게 된다. 세 번째 단계는 세부 사항에 대한 주의가 필요한데, 모든 문장의 모든 가정을 확인해야 한다. 이 단계는 초보자에게 약 네, 다섯 시간, 숙련자에게는 한 시간 정도 소요될 수 있다. 이 과정이 끝나면 논문의 전체 구조를 기억하고 강점과 약점을 식별할 수 있어야 한다.특히 암묵적인 가정과 누락된 인용문, 실험 또는 분석 기술에 대한 문제를 파악할 수 있어야한다.

---

3. DOING A LITERATURE SURVEY

논문을 읽는 기술은 서베이를 하게 될 경우 적용할 수 있다. 수십 편의 논문을 읽어야 할 수도 있기 때문이다.

 

어떤 논문을 읽어야 하는지는 three-pass 방식에 도움을 받을 수 있다.

 

먼저 Google Scholar나 CiteSeer와 같은 학술 검색 엔진을 사용하여 관심 있는 분야를 검색하고, 최근에 발표된 3~5편의 논문을 찾는다.

 

각 논문을 읽으면서 first pass를 수행하고 related work 섹션까지 읽는다. 이때 운이 좋다면 최근에 발표된 survey paper를 찾을 수 있다.  이 경우 그대로 이 survey 논문을 읽으면 된다.

 

만약 그렇지 않은 경우, reference에서 반복되는 저자의 이름을 찾고 이들의 논문을 따로 저장해 둔다. 이들은 대게 해당 분야의 주요 연구자들이다. 이들의 웹사이트에 들어가서 최근에 발표한 곳을 찾는다. 그곳이 최고 학회일 것이기 때문에 그 분야의 최고 학회를 알아낼 수 있다.

 

마지막으로 해당 학회의 웹사이트에서 최근 동향을 살핀다. First step으로 빠르게 훑은 후 high-quality의 논문을 선정한다. 이렇게 이전에 저장해 둔 논문들과 더불어 survey의 재료들을 만들 수 있다.

---

4. EXPERIENCE

본 논문의 저자는 약 15년 동안 이 방법을 적용하여 학회의 절차를 읽거나 논문을 리뷰하거나 연구 배경을 탐색했다. 체계적인 방식으로 논문을 읽으면 무작정 뛰어들고 여러 장애물에 좌절하게 되는 상황을 피할 수 있게 된다.