earticle

영어

Recently, the performance of large language models (LLMs) has improved to expert levels. This study proposes a novel approach to building a quality monitoring system utilizing Expert AI (AI acting as an evaluation expert) to overcome the limitations of existing human-centered methods in the customer service (CS) domain. In this study, the quality of responses to customer inquiries generated by a “CS domain-specific Local LLM-based AI” was assessed by human evaluator and Expert AI. For the quality assessment of the Local LLM, its responses were compared with those generated by other LLM-based AIs (ChatGPT and Perplexity) to evaluate the current quality and identify areas for improvement in the Local LLM. After the evaluation, we analyzed the agreement between human and AI evaluators in quality assessment, confirming a high agreement rate of 92.4%. In particular, the agreement rate for detecting Local LLM issues (e.g., poor response quality) was 98.9%, demonstrating that Expert AI can play a key quality control role. This study empirically verified the applicability of Expert AI in the CS field, which requires continuous and real-time quality management. It proposes a method for building an AI-based quality monitoring system that can maximize efficiency in corporate environments.

한국어

최근 대형 언어 모델(LLM)의 성능이 전문가 수준으로 발전하고 있다. 본 연구는 고객서비스 도메인에서 기존 인간 중심 평가 방식의 한계를 극복하고자 Expert AI(평가 전문가로서의 역할을 하는 AI)를 활용한 품질 모니터링 시스템 구축 방안을 새롭게 제시하고자 한다. 본 연구에서는 고객 질문에 대해 “고객서비스 도메인 특화된 Local LLM 기반 AI”로부터 생성된 응답 데이터 결과물의 품질을 인간 평가자와 Expert AI(AI 평가자)가 평가하도록 하였다. 단, Local LLM의 품질 평가 시, 다른 LLM AI(ChatGPT와 Perplexity)로부터 답변된 응답과 비교하여 평가되도록 하여, 도메인 특화로 구축된 Local LLM의 현재 품질 상황과 개선할 점을 파악할 수 있도록 하였다. 평가 수행 이후, 인간 평가자와 Expert AI의 품질 평가에 대한 일치도를 분석한 결과, 92.4%에 달하는 높은 일치율을 확인하였다. 특히 Local LLM의 문제점 탐지(응답 품질이 나쁜 경우)에서는 98.9%의 일치율을 보여, Expert AI가 핵심 품질 관리 역할을 수행할 수 있음을 입증하였다. 본 연구는, 지속적이면서 실시간 품질 관리가 필요한 고객서비스 분야에서 Expert AI의 적용 가능성을 실증적으로 검증함으로써, 실무 환경에서 효율성을 극대화할 수 있는 AI 기반 품질 모니터링 시스템 구축 방안을 제안한다.