earticle

영어

Explainable artificial intelligence is becoming increasingly important for interpreting the predictions of machine learning models. Among leading techniques for explainable AI, LIME(Local Interpretable Model-agnostic Explanations) is most frequently utilized as it notably helps people's understanding of complex models. However, LIME's analysis is limited in its ability to support multiple interpretations because it analyzes only one image at a time and lacks interaction mechanisms that allows users to observe the results of the LIME and directly manipulate the factors affecting the results. To address these issues, we introduce an interactive visualization tool, LIMEVis, which improves the analysis workflow of LIME by enabling users to explore multiple LIME results simultaneously and modify them directly. With LIMEVis, we could conveniently identify common features in input images that a model seems to mainly consider for category classification. Additionally, by interactively modifying the LIME results, we could determine which segments in an image influence the model's classification.

한국어

기계학습 모델의 예측 결과를 해석하는 데에 있어 설명 가능한 인공지능(explainable artificial intelligence)의 중요성이 커지고 있다. 설명 가능한 인공지능의 주요 기술 중 라임(LIME, Local Interpretable Model-agnostic Explanations)은 복잡한 모델에 대한 사람들의 이해를 돕는다는 점에서 가장 많이 활용되고 있다. 그러나 기존의 라임 분석은 한 번에 하나의 이미지만을 대상으로 분석을 진행하고, 사용자가 라임의 결과를 관찰하고 결과에 영향 을 미치는 요인을 직접 조작할 수 있는 상호작용 메커니즘이 부족하기 때문에 다양한 해석을 하는 데에 한계가 있 다. 이러한 문제를 해결하기 위해 사용자가 여러 개의 라임 결과를 동시에 탐색하고 직접 수정할 수 있는 대화형 시 각화 시스템인 LIMEVis를 도입하여 라임의 분석 수행 과정을 개선했다. LIMEVis를 사용하면 범주 분류 과정에 서 입력 이미지 내에 모델이 주로 고려하는 공통된 특징을 편리하게 식별할 수 있으며, 사용자 상호작용을 통해 입 력 이미지에 약간의 수정을 가해서 라임 결과가 변화하는 과정을 효과적으로 탐색함으로써 이미지의 어떤 특징이 모 델의 분류에 영향을 미치는지 파악할 수 있다.