의료에서의 컴퓨터 비전(Computer vision in Medical)

npj article(https://www.nature.com/articles/s41746-020-00376-2)

• 2021년, Nature Digital Medicine에 올라온 논문으로, 딥러닝이 의료에서의 컴퓨터 비전을 가능하게 한다는 내용임.

 

Computer Vision  in medical field

• 상단 a : 다중 모달 판별 모델. 딥 러닝 구조는 일반적으로 합성곱 신경망을 사용하여 이미지 데이터와 함께 일반적인 딥 네트워크를 사용하여 이미지가 아닌 데이터로부터 동시에 학습할 수 있으며, 질병 진단, 예후 예측, 임상 예측 등의 조합이 포함될 수 있다.
• 하단 b : 생성 모델. 합성곱 신경망은 이미지를 생성하기 위해 훈련될 수 있으며, 작업에는 이미지 간 회귀(그림에서 표시됨), 초고해상도 이미지 개선, 신규 이미지 생성 및 기타 작업이 포함됨.

 

• 객체 분류, 위치 지정 및 감지는 각각 이미지 내 개체의 유형 식별, 존재하는 객체의 위치 및 유형 및 위치를 동시에 식별하는 것을 나타내며, ImageNet 대규모 시각 인식 챌린지(ILSVRC)는 지난 10년 동안 이러한 작업에 대한 진전을 이끌어냈음.
• 충분한 데이터가 제공된 경우 정확도는 종종 전문의 수준을 맞거나 능가하고 있으며, 특히 현미경에서 볼 수 있는 여러 유형의 세포를 생체적으로 분할하는 등 어려운 task에서 개선되었는데, 이러한 작업에서 활용되는 주요 DL 기술은 합성곱 신경망(CNN)임.
• 이러한 진전을 통해 이미지 등록(유사한 이미지 간의 해당 지점 식별), 이미지 검색(유사한 이미지 찾기) 및 이미지 재구성 및 개선과 같은 다양한 컴퓨터 비전 작업에 장점이 있었고, 의료 데이터를 처리하는 것의 도전 사항은 다양한 유형의 AI 모델을 활용해야 하는 것임.
• 최근 몇 년 동안, 의료 영상에 컴퓨터 비전 기술을 적용하는 논문의 수가 수백 개에서 수천 개로 늘어났음. 특히, 영상 패턴 인식 형태의 진단 작업과 고도로 구조화된 이미지가 점점 더 많이 사용 가능해지면서 방사선학, 병리학, 안과학 및 피부과와 같은 몇 가지 분야가 큰 관심을 받고있음.
• 의료 영상의 고유한 특성은 DL 기반 컴퓨터 비전에 몇 가지 도전 과제를 제시하는데, 하나는 이미지가 매우 크다는 것임. 조직 조각의 슬라이드를 디지털화하면 약 100,000 x 100,000 픽셀 정도의 기가픽셀 이미지가 생성되는데, 일반적인 CNN 이미지 입력은 약 200 x 200 픽셀 정도밖에 되지 않음.
• 또한, 동일한 조직 조각에 대한 다른 화학 처리는 동일한 슬라이드에 대해 다른 이미지를 생성하게 하며, 다른 디지털화 장치나 설정은 동일한 슬라이드에 대해 다른 이미지를 생성할 수 있음. 
• CT 및 MRI와 같은 방사선학 모드는 동일한 크기의 3D 이미지를 생성하는데, 표준 CNN은 2D 슬라이스 집합으로 작업하거나 내부 구조를 3D로 처리하도록 조절해야 함. 마찬가지로 초음파는 3D Context의 Noise가 있는 2D 슬라이스의 시계열을 생성하며, 이 슬라이스는 공간적으로 상관 관계가 있지만 정렬되어 있지 않다는 limitation이 있음.
• DL은 의료 데이터의 고유한 도전 과제를 감안하여 발전해왔음. 예를 들어, 다중 인스턴스 학습(MIL)은 대규모 이미지와 몇 개의 레이블(예: 병리학)을 포함하는 데이터 세트에서 학습하는 것을 가능하게 했고, CNN의 3D 컨볼루션은 3D 볼륨(예: MRI 및 CT)에서 더 나은 학습을 가능하게 했음. 마찬가지로, 시공간 모델 및 이미지 classification 은 시계열 이미지(예: 초음파)로 작업하는 데 도움을 주었음.
• 컴퓨터 비젼에서 많이 활용되는 진료과
  • Cardiology (심장과)
  • Pathology (병리학)
  • Dermatology (피부과)
  • Ophthalmology (안과)
  • Medical video (수술영상, 환자 움직임과 같은 활동 등)

Clinical deployment

• 이 논문은 2021년도에 나온 논문이고, 컴퓨터 비전이 많이 활용되고 있음. 
• 앞으로는 생체신호 + 이미지 + Text 데이터를 전부 활용하는 등의  multi-modal 이 대세를 이룰 것으로 생각됨.
• 임상데이터뿐만 아니라, NLP나 이미지에 대한 공부와 지식은 무조건 있어야 할 것으로 생각됨.