인공지능 기술은 의료의 다양한 분야에서 뛰어난 성능을 보이고 있으나 인공지능알고리즘의 불투명성은 인공지능이 임상에서 널리 활용되는 데에 걸림돌로 작용하고있다. 우선 의사의 관점에서 바라보면, 투명성이 결여되면 의료 인공지능 모델에 대한신뢰성이 약화되고 인공지능 모델의 임상에서의 권고를 검증하거나 오류 또는 편향을 발견해내기 어려워진다. 또한 환자의 관점에서는 환자의 개인정보에 대한 자기결정권 또는 생명, 신체에 대한 자기결정권을 보호하기 위해서도 설명가능한 인공지능이 필요할 수 있다. 의료 인공지능 분야에서 설명가능성에 대한 관심은 최근 몇 년 사이 폭발적으로 증가하고 있는 추세이다. 이 글은 우리나라에서 의료 인공지능의 설명가능성에 대하여 법적인 관점에서 분석한 첫 번째 연구로서, 의료 인공지능에 설명가능성이 갖는 법적 의미를 설명가능한 인공지능 기술의 발전단계와 의료 인공지능의특성에 비추어 살펴보고자 한다. 우선, 설명가능성의 의미와 의료 인공지능에서 빈번하게 쓰이는 설명가능한 인공지능 기술에 대하여 개관하고, 다음으로 현재 설명가능한 인공지능이 의료분야에 법적으로 요구되고 있는지를 의료기기 규제, 개인정보보호 규제, 의사의 설명의무, 의사의 의료과오책임, 제조업자의 제조물책임 등의 관점에서 차례로 검토한다. 마지막으로, 앞으로 의료 인공지능에 설명가능성이 갖는 중요성이 어떻게 변화할 것인지를 전망하며 이 글을 끝맺는다.

Artificial intelligence technology is demonstrating exceptional performance across various fields in healthcare. However, the opacity of AI algorithms presents a significant obstacle to their widespread clinical application. From a physician’s perspective, this lack of transparency can undermine the reliability of medical AI models, making it challenging to verify clinical recommendations of AI models or to identify errors and biases. Furthermore, from a patient’s viewpoint, explainable AI might be necessary to protect the rights to self-determination concerning personal health information and bodily integrity. The interest in explainability within the field of medical AI has skyrocketed recently, yet there has been no study analyzing the explainability of medical AI from a legal perspective in Korea. This paper aims to explore whether the law currently requires explainability in medical AI, and if it should in the future. It begins by discussing the concept of explainability and the explainable AI technologies commonly used in medical AI, then examines the legal requirements for explainable AI in healthcare, considering medical device regulations, personal information protection, physicians’ duty to inform, medical malpractice liability, and manufacturers’ product liability. Finally, the paper addresses the need for explainability in medical AI in the future before concluding.

medical artificial intelligence, explainability, liability, informed consent, medical malpractice, product liability