[논문리뷰-의료] Deep LF-Net: Semantic lung segmentation from Indian chest radiographs including severely unhealthy images

목차

0. Abstract

 - 컴퓨터 진단도구(CAD)를 설계하는데 있어서, 폐 자동분할은 중요함.

 - 정확한 분할을 위해 DeepLabv3+ 네트워크를 시도함

* DeepLabv3+ :  DeepLab 아키텍쳐, 인코더-디코더, 의미론적 폐 세분화를 통합하는 네트워크

Resnet18과 Mobilenetv2로 비교함

 - 전처리 전혀 필요 없음

 - 결핵, 만성 폐쇄성 폐질환, 간질성 폐질환 환자, 건강이 해로운 심각한 데이터셋을 포함

 - 테스팅 : Montgomery County 와 Shenzhen 데이터 사용

 

1. Introduction

 - 다양한 폐질환에 널리 사용됨.

 - 엑스레이를 이용한 해석은 전문가의 전문성에 크게 좌우됨

 - CAD는 해석을 자동화하고, 인력부족을 채우는데 많은 도움이 됨.

 - CAD 도구 개발에 있어 해부학적 구조의 자동화되고 정밀한 분할은 중요함

 - 하지만, 폐 분할이 몇가지 이유로 인하여 어려움 1) 연력, 성별 및 심장 크기로 인하여 폐 모양과 크기가 다름2) 혈관과 신경이 접하는 접경지, 쇄골, 늑골, 심장끝(심첨) 등의 질감의 다양성3) 뼈, 심장 및 폐정맥/동맥의 질환으로 인한 기형4) 환자복에 심박 조율기 및 이식장치, 이물질로 인하여

 

폐 분할은 크게 ① 고전적 접근법과 ②심층신경망 기술 두가지 범주로 나뉨

 

1.1 The classical approach

  - ① the rule, ② pixel classification, ③ deformable model, and ④ hybrid techniques으로 구분됨

1) the rule: 미리 정의된 해부학적 규칙과 발견의 가정을 고려함

2) pixel classification: supervised learning 분류기로 폐와 배경으로 분류, 이미 마스크가 있는 데이터를 사용

3) deformable model-based techniques: 관절의 모양과 외관을 이용한 sparse learning-based framework(ex, stochastic gradient descent, LASSO 등)를 사용해서 크기에 의존적인 모양과 외관통계를 통합하여 폐를 분할한다

4) hybrid techniques: 앞에 제안된 방법들을 섞어서 사용

→ 폐 경계는 생각보다 최적이 아닌경우가 많음. 그럴경우, 후에 사용하는 알고리즘에 문제가 발생할 수 있음

 

1.2 Deep neural network techniques

 - 질병감지, 물체감지, 의료의미지 세분화와 같은 여러 분야에서 좋은 결과를 얻었음 

- 1) 인코더-디코더 컨볼루션 신경망(ED-CNN)으로 폐 분할을 제안, 354개 X-ray로 96.2% 성능 

- 2) 5개 ConV, 2개 FC 모델, input은 다양한 크기로 전달, Geisinger와 JSRT데이터셋으로 이용하여 0.96 IOU 성능 

- 3) network-wise training of a deep convolutional neural network 를 제안, JSRT와 MC(Montgomery County) 데이터 셋으로 Dice coefficient 0.98, 0.964를 얻음 

- U-net 폐, 심장 쇄골같은 다중 클래스 분할을 위해 사용. JSRT로 폐 95% 쇄골 86.8, 심장 88.2의 Jaccard 점수

- 베이지안 최적화 + U-net으로 JSRT와 MC 0.9790과 0.9410 Dice 계수, 그리고 심각한 상태의 이미지 65개를 추가해서 0.8890 Dice계수 얻음

- SegNet + 업셈플링, JSRT로 훈련, JSRT와 MC 데이터를 테스트 했을때 98.73% 정확도 얻음

- 폐의 오른쪽, 왼쪽을 분할하기위해 atrous convolution를 가진 deeplabv3+를 각각 적용했고 NIHchest x-ray의 1736개 이미지를 테스트 했고 2class모델, 3class 모델에서 94.9% 92% Intersection over union을 얻음

( *atrous convolution 참고문헌 : https://better-tomorrow.tistory.com/entry/Atrous-Convolution)

- patch classification technique기반 AlexNet을 이용하여 폐의 초기분할 > 분할 개선을 위해 ResNet18으로 폐 재구성

- self-attention module를 이용하여 Unet 개선하고, output의 Attention 맵을 생성

- 최근에는 GAN, Pix2pix GAN적용 

- 장기분할 및 뼈 억제를 위해 GAN기반 멀티테스킹 딥러닝 모델 도입. Pix2pix GAN에서 conv block대신 dilated conv사용

다 좋은 성능을 보여주지만, 심각한성능에 대해서는 이 성능의 견고성을 연구한 사례가 없음

폐 분리를 위해서는 3가지 원칙이 있음

1) 고품질 데이터는 성공적인 모델이 중요

2) 의료 영상에서는 더 높은 성능은 항상 인정될 수 있다

3) 매우 안좋은 이미지에서도 적절한 성능을 가져아 실제 환경에서 더 견고함.  > 대부분은 아니여서 더 많이 해야해

 

So, 자동화된 폐분할로 효율적인 사용 제시 ( 기여점)1) 빠른 순련과 높은 정확도를 보이기 위해 Deeplabv3+를 적용함2) 다양한 종류의 CxR이미지를 가지는 데이텃을 구성3) 심각한 비정상이미지와 일반적인 데이터를 포함하여 광범위하게 사용 (JSRT, MC, Shenzhen)4) 후처리 작업 제안하여 잘못 예측된 부분에 대해 보완5) 별도의 전처리는 필요 없음

 

2. Method

페 분할에 있어 Unet SegNet, FNC, Deeplab을 많이 사용하는데 그중 Deeplabv3+ 사용Deeplabv3+는 인코더 디코더 신경망을 공간 피라미트 풀링 및 확장 컨볼루션과 통합함확장(Aturous) 컨볼루션에서는 동일한 커널 계산 비용으로 다양한 시야에서 멀티스케일 정보를 캡처할 수 있는데,이 네트워크는 ASPP(Atrous Spatial Pyramid Pooling)를 사용하여 여러 속도로 여러 병렬을 적용 하여 캡쳐 * ASPP는 유사 클래스의 개체가 다른 축적에 있으면 충분히 견고함 > 따라서 매우 정확해본 연구에서는~

> 인코더 섹션에서 특징 추출기로 사전 훈련된 다양한 기본 네트워크를 사용하여 Deeplabv3+ 아키텍처를 훈련

> 디코더 모듈에서 인코더에 의해 추출된 특징은 1 × 1 컨볼루션을 거친 후 저수준 특징과 쌍선형으로 업샘플링

>연결 후 출력 피쳐는 의미 분할 폐장의 경계를 미세화하기 위해 추가로 컨볼루션되고 이중 선형 샘플링됩니다

2.1. Atrous convolution

(Atrous convolution 또는 dilated convolution)rate를 이용하여 유효시야를 결정할 수 있는데, 기본적인 conv는 rate=1임여기서는 6,12,18의 rate를 사용하여 다중 스케일정보를 획득

x input feature map, y output feature map, w convolutional filter, i location, and r rate

2.2. Atrous spatial pyramid pooling

병렬 atrous convolution를 적용하여 다중 규모 컨텍스트 정보를 캡쳐

그리고 global average pooling을 추가해서 이미지 수준 기능 추가

다른 스케일에서 같은 classs를 보이면 매우 정확하여 모델이 충분히 견고함을 보임

 

2.3. Encoder-decoder neural network

기존의 Deeplabv3 plus모델은 atrous convolution을 사용하여 임의의 해상도에서 특징을 추출,

동일하게 pooling or FC 계층 이전 최종 출력과 input 이미지의 공간 해상도 비율을 고려하는데 이걸 16으로 설정

16인 이유는 고밀도 feature추출을 위해 입력 이미지를 다운샘플링하기위해서 임

(feature map이 input image에 비해 32배 줄어들었다면 output stride는 32가 되는 것)

 

imagenet의 사전훈련된 Resnet18과 mobilenetv2를 특징 추출기로 사용

디코더 모듈의 시작은, 인코더에서 추출된 featuare에 1*1 conv해서 사용

 

2.4. Post-processing for removal of false positives

false positives가 생각보다 많음. 이를 제거하기위해 형태학적 연산 영역 필터링 적용

폐는 X-ray에서 두개의 가장 큰 물체만 유지하면됨.

그래서 모든 false positives는 이진 마스크에서 제거를 진행 (morphological operation로!)

비 정상적인 경우, 폐의 질감 변화가 발생하여 비정상적으로 도출되는 것으로 관찰됨

 

2.5. Performance evaluation metrics

 Accuracy: 정확도는 각 클래스에 대해 올바르게 식별된 픽셀의 백분율로 정의

Sensitivity: 감도는 특정 이미지의 총 폐 픽셀 수에 대한 올바르게 분류된 폐 픽셀의 비율로 정의

Specificity: 특정 이미지의 총 배경 픽셀 수에 대한 올바르게 분류된 배경 픽셀 의 비율

Jaccard Index: Jaccard 지수는 오탐에 불이익을 주는 통계적 정확도 측정에 가장 일반적으로 사용되는 메트릭입니다. 각 클래스에 대해 Jaccard 인덱스는 해당 클래스의 총 실측 픽셀 수에 대한 올바르게 분류된 픽셀의 비율

Dice Coefficient: 주사위 유사성 계수는 ​​찾은 참 긍정의 척도일 뿐만 아니라 거짓 긍정에 대해서도 벌점을 줌

3. Chest X-ray datasets

주요 과제는 서로 다른 폐 질환으로 인해 발생할 수 있는 혼탁, 종격동 선병증, 흉막삼출액과 같은 다양한 고밀도 이상에 의해 중첩되는 폐 영역의 분할

이러한 조밀한 이상은, X-ray에서 폐 영역의 질감이 변경되며, 자동 폐 분할 중에 잘못 해석될 수 있음

3가지 데이터 셋 사용

Shenzhen China, JSRT(Japanese Society of Radiological Technology) Montgomery County's, USA(MC)

데이터셋의 Healthy와 Unhealty 분포

3.1. In-house Indian dataset

- 2014년에서 2017년 사이에 인도 벨로르에 있는 기독교 의과대학에서 수집

 ( 총688개, 건강한 216개, 안좋은 472개-만성폐질환COPD, 등)

질환(ILD), 흉막삼출액(PLEF), 폐암(CA). 건강한 대상자의 연령은 46.4±15.2세(평균±표준편차)

남자가 55.6%였다. 폐환자의 나이는 46.6±16.6(평균±표준편차)이었으며 남자가 69.8%

 2000 × 2000 범위에서 호버링하는 다양한 해상도의 이미지

 

데이터셋 예시

3.2. Publically available standard datasets

 JSRT, Montgomery 및 Shenzhen 사용

1) JSRT는 폐, 심장 및 쇄골 결계를 묘사한 데이터셋(다른 논문을 인용)

(Segmentation of anatomical structures in chest radiographs using supervised methods: a comparative study on a public database)

2) Montgomery 는  미국 메릴랜드주 몽고메리 카운티의 보건복지부에서 생성

총 138개, 80개의 건강한것, 58개는 결핵(TB)

4892 × 4020 또는 4020 × 4892 해상도

 데이터 세트에는 방사선 전문의의 감독 하에 표시되고 다른논문이 제공한 실제 정보로 폐 분할 마스크있음

(Attention u-net based adversarial architectures for chest x-ray lung segmentation)

 

3) Shenzhen 데이터는 henzhen No.3 People's Hospital과 중국 Shenzhen의 Guangdong Medical College의 협력으로 미국 메릴랜드주 국립 의학 도서관에서 수집

총 662개, 326개 건강한데이터, 336개 결핵

3000 × 3000의 서로 다른 해상도 

4. Training and assessment

Resnet18과 mobilenetv2를 특징 추출기로하여 Deeplabv3+ 네트워크를 훈련, 256 * 256으로 이미지 통일하여 사용

70%를 학습 30% 테스트 데이터셋으로 사용했으며, 정상/이상 데이터 모두 포함함

픽셀단위 분류를 수행함

 픽셀의 수 : 폐영역 < 배경 따라서, 클래스 가중치 적용

데이터 증강 : 과적합방지를 위해 진행 

(80–120% 스케일링, ±10% x축 이동, ±10% y축 이동 및 ±10° 회전과 같은 데이터 증대 설정이 완료)

학습 momentum optimizer로 stochastic gradient descent를 사용

(momentum optimizer)

mini-batch = 8 

initial learning rate is selected as 0.0100.

인코더 섹션에서 입력 이미지를 다운샘플링할 양을 설정하는 다운샘플링 계수를 16으로 선택

Intel(R) Xeon(R) CPU E5−1650 v3@3.50GHz, 64GB RAM 이 탑재된 NVIDIA GeForce GTX TITAN X GPU 에서 MATLAB 플랫폼을 사용하여 훈련

5. Results

공개 데이터와 인도 데이터사이에 성능차이는 거의 없음

감도가 올바르게 폐 픽샐이 분할됬는지 나타내기때문에 중요한 지표인데, 이게 잘나옴

모든 데이터셋에 대해서 98% 이상을 얻었음

- 이미지에서 실제 경계는 녹색, 제안된 방법은 빨간색

 

5.1. Lung segmentation results on severely unhealthy chest radiographs

폐 분할의 견고성을 평가하는 연구는 없음.

다양한 질병( TB, COPD, ILD , PLEF 및 CA )을 포함하는 다양한 엑스레이

초록:실제 / 빨강: 제안방법

 

심각한 비정상 소견에서도 폐 영역을 분할 할 수 있을만큼 강력함

5.2. Failure cases

 폐암, COPD, ILD, TB 및 PLEF의 폐 질환 환자의 경우 실패하는 경우가 많음

공기의 그림자효과 불완전한 폐 영역 또는 비정상적인 구조로 인한 폐경계 사라짐으로 실패함

데이터를 더 늘려 학습하면 향상될 수 있음

최악의 실패사례

6. Discussion

모든 데이터셋에 대하여 98%이상의 성능을 보임.

민감성 값을 통하여 상태가 좋지 못할 경우에도 좋은 효율을 보인 다는 것을 확인 가능

 

최신문헌의 딥러닝기술 기반의 영역분할과 본 방법을 비교했음

실제 연구중에는 폐 분할에 대해 견고성을 평가한 연구가 거의 없는 것을 보임

동일한 네트워크 Deeplabv3+architecture[38]을 이용하여 NIH 흉부 x-선 데이터 세트[57]을 테스트 연구로

94.9%의 Jaccard Index 성능을 얻었지만, 동일한 벤치마크 데이터 셋에서 평가가 안되서 뻄

 

7. Conclusion

mobilenetv2 및 Resnet18을 사용하는 Deeplabv3+ 아키텍처를 기반으로 하는 자동화된 폐 분할을 위한 정확하고 강력한 방법을 제시

 JSRT, MC 및 Shenzhen 데이터에서 각각 99.37%, 99.09% 및 98.31%의 최고의 정확도를 달성

견고성을 집증해서, 실제 임상실습에서 유용성을 높힘

 

 

 

 

 

 

https://kuklife.tistory.com/121