[논문리뷰-의료] Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks

Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks

DeepCNN을 이용한 정확한 폐 결절 검출

2017년 논문, 인용수 168회 ( 21.01.13 기준 )

 

1. Abstract

- DCNN을 이용하여 폐 결절 감지

- 축 슬라이스에서 탐지를 위해서 Faster R-CNN에 deconvolutional structure을 이용함

- False-True를 줄이기 위해 3차원 DCNN 사용

- 2016 LUNG Nodule Challenge에서 1위차지 평균 FROC 0.891

 

* Faster R-CNN : Fast R-CNN의 단점을 해결하기 위해 RPN(Region Proposal Network)를 자체 학습함, 물체 탐지시에 유용함 ( 관련 링크 : yamalab.tistory.com/113) ※ F/U사항: Faster R-CNN, Fast R-CNN 읽어보기

* FROC(free-response ROC) : 컴퓨터 보조 진단 시스템에서 특성도 대신 사용. false positive rate를 이용

 

2. Introduction

- 일반적인 폐 결절 CAD는 결절 후보 검출, False-True 감소로 구성

- 많은 연구가 있지만, 크게 2가지 문제가 있어 이를 해결하고자 도입

   → 검출 결과가 안좋음

   → CT는 본래 3D데이터지만, 대부분의 연구는 2D/2.5D, 3D로 진행된 연구는 흔치않다

- 방법은 Faster R-CNN에 deconvolutional structure을 도입, 3D DCNN을 이용하여 False-True 감소시킴

 

3. The proposed CAD system

 

 

1) Candidate Detection Using Improved Faster R-CNN

- CT이미지에서 결절 후보를 감지히기위한 DCNN 이용

- 결절의 크기를 맞추기위해 Deconv layer가 Faster R-CNN에 이용됨

 

①입력데이터

- 3D CT 이미지를 사용하면 cost가 높기때문에 축 슬라이드를 입력으로 이용하여 DCNN 사용

- CT 영상의 인접 슬라이드를 축 방향으로 연결하여 600*600*3으로 스케일 조정

 

②네트워크 아키텍처

 - 두개의 모듈로 구성

 - RPN은 ROI를 제안하고, ROI 분류기는 ROI가 결절인지 아닌지 인식

 - cost를 낮추기위해, 두 DCNN은 동일 특징추출layer을 이용함

 

* Faster R-CNN: Fast R-CNN을 해결하기 위해 나옴. 이미지가 입력, 출력으로 각각의 object에 대한 점수를 지닌 직사각형의 모양의 object proposal 출력 (관련자료 : leechamin.tistory.com/221, bit.ly/2KatMTP)

* Deconv layer : conv의 반대로, feature map의 크기를 증가시킬 때 사용 (관련 자료 : dambaekday.tistory.com/3, 3months.tistory.com/209)

*ROI(Region of Interest Polling) : 서로 다른 크기의 feature map을 동일 한 크기로 변경할 때 사용 ( 관련자료 : bit.ly/3sgkqY5)

*filter=kernel=weight

* convolution = spatial filtering

 

Region Proposal Network

- 자연 영상에 사용하는 일반적인 RPN에 비해 폐결절은 크기가 작아서 특징추출하는 VGG-16Net의 성능↓

- 따라서, 이 뒤에 kernel size, stride size, padding size and kernel number를 4, 4, 2, 512의 Decov추가

- ROI 생성을 위해 Deconv feature map의 3*3 spatial window를 입력으로 사용하고, 각 sliding window를 512-d feature에 매핑

- 영역 경계를 회귀하는 Reg layer, objectness score를 예측하는 Cls Layer에 연결

- 여러 ROI를 동시 예측하며, 여러 ROI는 연관된 box마다 파라미터화 되어 있고 이를 anchor라고 함

- 각기 다른 크기의 anchor 6개를 설계

*stride : 필터를 적용하는 간격값

VGG-16Net (Visual Geometry Group 16layers) : 3*3 필터를 사용하는 깊은 신경망 (참고자료 : bit.ly/3bxwWfB) 

* anchor : sliding window의 각 위치에서 bounding box의 후보로 사용되는것. (참고자료: cbit.ly/2Xzg5ki)

 

ROI Classification Using Deep Convolutional Neural Network

- ROI pooling layer를 이용해서 각 ROI에 7*7크기의 small feature map를 매핑하기위해 사용

- ROI pooling은 sub-window의 크기로 나눈뒤 sub-window의 출력셀로 maxpooling

- 이후 2개의 4096-way Fully connect network의 feature map을 feature vector로 매핑 (이해x)

- 결절 후보 경계를 회귀시키는 regressor(BBox Reg) and 후보의 신뢰 점수를 예측하는 classifier(BBox Cls)를 이용

- training에서 RPN과 ROI 분류기를 하나로 병합하여 loss funtion 정의↓

 

 

(※수식에 관한건 논문참고)

 

2) False Positive Reduction Using 3D DCNN

- cost↓를 위해 2D DCNN(faster R-CNN)으로 결절 후보를 탐지

- 추출된 결절 후보와 비교해서 더 많은 feature를 생성하는 3D DCNN은 false-true에 활용

- 3D DCNN은 6개 Conv, ReLU, 3D max pooling, 3 FC, 2-way softmax를 이용해서 결절과 비 결절 구분

- dropout으로 overfitting 방지

Data Set

① CT 스캔을 -600의 평균, -300의 표준편차로 정규화

② 결절 후보를 중간에다 두고 40*40*24 부분으로 자름

③ Data augmentation 

   →Crop : 36*36*20으로 더 작게 만들기때문에 각 사진당 125개가 더나옴

   →Flip : 36*36*20 이미지를 3방향으로 뒤집어서 각 사진당 2^3개 더나옴 (125*8=1000배)

   →Duplicate : training set의 폐결절 양성과 음성의 비슷한 수를 가지기위해 양성 data를 8배 복제

   

 Note : 2D 이미지는 단순이 캡쳐한 사진일 뿐이지만 본 논문상의 이전  feature map의 3D unit을 통합해서 볼 수 있음

 

4. Experimental Results and Discussions

장비 : LIDC-IDRI의 888개 

1) 평가방법  in LUNA16 Challenge

- FROC (Free-Response Receiver Operating Characteristic) : 스캔당 7개 구간 FP의 평균민감도

- 민감도 : FPs/Scan으로 계산

 

*FROC : 컴퓨터 보조 진단 시스템에서 특성도 대신 FP 비율을 이용하는 방법

1) Candidate Detection Results

- LUNA16에서 이미지당 가장 적은 후보로 가장 높은 민감도를 얻음

* Baseline(w/o deconv) : Deconv가 생략된것

* Baseline(4 anchors) : 개선된 faster R-CNN에서 anchor 4개만 사용했을때

 

 

2) False Positive Reduction Results

- 성능 평가를 위해 NIN을 사용

- FP를 맞추기 위해서 크기를 32*32*3을 36*36*7로 변경, softmax 출력을 2로 변경

- LUNA16 대회에 다른 모델들도 추가

 

* False Positive : 실제는 양성인데 결과는 음성

* NIN(Network in Network) : 관련 자료 : bit.ly/3bBmqEe ※ F/U사항: NIN  읽어보기

➔ FP/Scan>2일때더 나은 모델이 있지만, 라벨링된 데이터를 쓴 모델도 있으며, FP/Scan<2에서는 본 논문이 좋음➔ 대부분이 CAD는 스캔당 평균 1~4개의 FP 사이에서 작동되도록 설정되있음으로 본 모델은 만족됨

 

5. Conclusion

 - Deconvolution을 이용한 Faster R-CNN으로 축 슬라이드에서 폐결절 찾는데 도움을줌

 - 3D DCNN은 False positive를 감소시킴

 - LUNA16 Nodule Detection Challenge에서 평균 FROC점수 0.891로 1등