earticle

영어

This study constructs an AI agent capable of automatically playing the interactive text-based adventure game Zork I using large language models (LLMs), and comparatively evaluates the performance of each LLM. The tested LLM APIs include GPT-4, Gemini, and DeepSeek. To overcome the stateless nature of LLMs, we implement a State Manager module that continuously stores the agent's game state and incorporates it into prompt generation. Performance is evaluated using both quantitative metrics— such as game score, number of unique locations visited, and count of redundant commands—and qualitative analysis of gameplay behavior. Results show that GPT-4 excels in exploring diverse locations, while Gemini demonstrates strength in achieving high scores. These findings suggest that both models effectively leverage state information to reduce unnecessary actions and maintain strategic focus.

한국어

본 연구는 LLM (Large Language Model)을 이용하여 대화형 텍스트 기반 어드벤처 게임인 Zork I을 자동으로 플레이할 수 있는 AI 에이전트를 구축하고, 각 LLM 별 성능을 비교 평가하였다. 사용된 LLM API는 GPT-4, Gemini, DeepSeek를 사용하였으며, LLM의 Stateless 특징을 극복하기 위해 게임 상태를 지속적으로 저장한 후 프롬프트 생성 시에 반영하는 State Manager 기능을 에이전트에 추가하였다. 성능 평가는 게임 점수, 방문한 고유한 장소 수, 의미 없는 반복 명령어 수 등 정량적인 측면과, 게임 중 보인 특성을 다룬 정성적 평가로 나누어 분석하였다. 그 결과 GPT-4 는 다양한 장소를 탐색하는데 강점을 보였으며, Gemini의 경우 높은 점수를 얻는데 우수하였다. 이는 두 모델이 State Manager가 제공하는 정보를 충분히 활용하여 불필요한 명령어를 줄이고 게임 전략을 따르는데 집중했다는 것을 의미한다.