earticle

영어

Evaluating the relevance between a query and a passage is a critical task in Information Retrieval. The efficacy of Large Language Models (LLMs) like GPT-4 in this domain is largely dependent on the quality of the prompts employed. Current methods of prompt crafting are often manual and vary in effectiveness. In this paper, we introduce the Automated Prompt Generation Framework (APGF), designed to automatically generate optimized prompts for GPT-4, with a specific focus on query-passage relevance tasks. APGF leverages a training dataset and employs a score-based objective function to automate the process of prompt selection during training. We evaluate APGF’s effectiveness through a direct comparison with a human- judged relevance set. The results indicate that APGF-generated prompts yield relevance assessments that more closely align with human judgments than do prompts crafted by a human judge. Our approach offers an automated solution for prompt optimization and presents an advancement in the effectiveness and efficiency of Information Retrieval systems.

한국어

쿼리와 패시지 간의 연관성을 평가하는 것은 정보 검색에서 중요한 과제이다. 이 분야에서 GPT-4와 같은 거대 언 어 모델(LLM)의 성능은 사용되는 프롬프트의 품질에 크게 의존한다. 프롬프트 설계 방식은 주로 수동으로 이루어 지며, 그 효과는 일정하지 않다. 본 논문에서는 쿼리와 패시지간의 연관성 판단을 위한 프롬프트를 자동으로 생성하 는 자동 프롬 프트 생성 프레임워크(APGF)를 제안한다. APGF는 훈련 데이터셋을 활용하고, 점수 기반의 목적 함 수를 사용하여 훈련 과정에서 프롬프트를 자동으로 개선한다. APGF의 효과는 인간 평가자의 평과결과와 APGF가 평가한 결과가 얼마나 유 사한가를 그 기준으로 하여 평가된다. APGF가 생성한 프롬프트는 수동으로 작성된 프롬 프트보다 인간 평가자 판단과 더 높은 일치도를 보이는 연관성 평가를 제공함을 확인할 수 있었다. 이 접근법은 프롬 프트 최적화를 위한 자동화 솔루션을 제공하며, 정보 검색 시스템의 효과성과 효율성을 향상시키는 진전을 나타낸다.