earticle

영어

Multi-Agent Reinforcement Learning (MARL) is a subfield of machine learning in which agents interact and learn optimal policies through trial and error in a shared environment, handling complex scenarios where multiple agents interact simultaneously. Analyzing and understanding these intricate interactions is a challenging task, and existing methods often fall short of adequately capturing and interpreting this complexity. To address this issue, we present MARLViz, a visualization system designed to visualize and analyze agent policies and interactions in MARL environments. MARLViz represents agents in various environments using scatterplots to provide a summary of behavioral differences and visualizes agents' behavioral patterns on a spatial heatmap, enabling users to understand and compare complex interaction patterns among agents. Furthermore, we demonstrate the effectiveness of MARLViz in comprehending agents' behavior through a case study, showcasing its capability in facilitating the understanding of task performance in MARL environments.

한국어

다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL)은 에이전트가 시행착오를 통해 최적 의 정책을 상호 작용하고 학습하는 기계학습의 한 분야로, 여러 에이전트가 동시에 동일한 환경에서 상호 작용하고 학습하는 복잡한 시나리오를 처리한다. 이러한 복잡한 상호작용을 분석하고 이해하기는 어려운 일이며, 기존의 분석 방법으로는 이러한 복잡성을 충분히 분석에 반영하고 해석하는 데 한계가 있다. 이러한 문제를 해결하기 위해 우리 는 MARL 환경에서 에이전트의 정책과 상호작용을 시각화하고 분석할 수 있는 시각화 시스템인 MARLViz를 제공 한다. 이 시스템은 다양한 환경에서의 에이전트를 산점도로 나타내어 행동 차이를 요약적으로 보여주고 에이전트의 행동 패턴을 공간상에 시각화하는 열지도를 통해 사용자가 에이전트 간 복잡한 상호작용 패턴을 이해하고 비교할 수 있도록 설계되었다. 또한, MARLViz를 통해 에이전트들의 행동을 이해하기 위한 과업 수행을 효과적으로 수행할 수 있음을 보이기 위해 대표적인 분석 시나리오를 사례 연구의 형식으로 제시한다.