earticle

한국어

본 연구는 인공지능(AI) 서비스 중 하나인 챗봇(Chatbot)의 지능을 소비자 관점에서 체계적으로 평가할 수 있는 척도를 개발하는 것을 목표로 한다. 기존의 챗봇 관련 연구들은 주로 기술적 성능이나 응답 정확성과 같은 기능적 측면에 초점을 맞추어 왔으나, 본 연구는 사용자가 실제로 체감하는 지능적 특성에 주목하여 이를 평가 항목으로 체계화하고자 하였다. 이를 위하여 본 연구에서는 레퍼토리 그리드(Repertory Grid) 기법을 적용하여 심층 인터뷰(In-Depth Interview)를 실시하였다. 참여자들은 시나리오를 기반으로 의료, 법률, 심리 분야의 상담 챗봇을 사용하여 문제 해결 과정을 체험한 후, 삼자비교법(triadic comparison)을 통해 챗봇 간 유사성과 차이를 인식하고, 이에 기반하여 사용자가 인지하는 구성개념(constructs)을 도출하였다. 도출된 구성개념들은 의미의 유사성에 따라 통합 및 정제되었으며, 이를 바탕으로 챗봇 지능을 평가할 수 있는 구체적인 항목군이 개발되었다. 본 연구를 통해 개발된 챗봇 지능 평가 척도는 향후 인공지능 서비스의 지능 수준을 사용자 관점에서 체계적으로 측정하고 비교하는 데 기여할 것으로 기대된다. 또한 본 연구 결과는 인간 친화적 인공지능 시스템 설계, 사용자 경험(User Experience, UX) 개선, 그리고 인공지능 서비스 품질 평가 연구에 실질적인 학문적 및 실무적 시사점을 제공할 수 있을 것으로 전망된다.