earticle

영어

Deep learning models for skin cancer detection have made a great progress based on high-resolution dermoscopic images, while low-resolution clinical skin images are also valuable to be exploited for low-cost AI-based medical devices. Transformer may be appropriate for reconstructing skin textures where a similar pattern can be easily found even between distant regions, but the efficient super resolution transformer (ESRT) model does not exhibit acceptable perceptual quality in super resolution of clinical skin images. In this paper, we propose an extension of ESRT as a super resolution approach to reconstructing dermoscopy-level high-resolution skin images from low-resolution clinical skin images. In the propose model, the transformer backbone and the convolutional neural network backbone are connected in parallel rather than in series by changing the existing architecture to learn the features of skin lesion texture efficiently. Moreover, the perceptual loss is employed to enhance the perceptual quality of fine textures. We show that the proposed model effectively improves the perceptual quality of super resolution skin images compared to other existing models.

한국어

피부질환 진단을 위한 딥러닝 모델은 주로 고해상도 더모스코프 영상에 기반하여 발전되어 온 반면, 저해상도 임상 피부영상도 저가형 인공지능 기반 의료기기에 활용될만한 가치가 있다. 트랜스포머는 영역간 유사한 패턴을 보이는 피부 텍스처의 복원에 적합한 반면, 최근 제안된 트랜스포머 기반 초해상화 모델인 ESRT는 임상피부영상의 초해상 화에 만족할만한 지각적 성능을 보이지 않는다. 본 논문에서는 저해상도 임상피부영상에서 더모스코프 수준의 고해 상도 피부영상을 복원하기 위한 ESRT의 확장 모델을 제안한다. 제안된 모델은 ESRT를 백본으로 하되 트랜스포머 백본과 합성곱 신경망 백본을 기존의 직렬 대신 병렬 구조로 재구성하여 피부 병변 텍스쳐의 특징을 효율적으로 학 습한다. 또한 지각적 손실함수를 적용하여 미세한 텍스쳐의 질감도와 지각적 품질을 향상시킬 수 있다. 다른 대표적 인 초해상화 모델과의 성능비교 실험결과, 제안된 모델이 초해상화 피부영상의 지각적 품질을 향상시키는데 효과적 임을 보여준다.