earticle

영어

This paper examines the similarities and differences between Large Language Models (LLMs) and humans in sentence comprehension and generation. In psycholinguistics, expectation-based approaches suggest human processors use linguistic cues from contexts to predict upcoming words before encountering them. Our study compares the predictive sentence processing of humans and LLMs across several domains. Using English instrument arguments and adjuncts in prepositional phrases within declarative sentences, we present findings indicating that LLMs effectively simulate human behaviors in processing instrument nouns: The LLMs successfully demonstrated the significant role of verb type in distinguishing instrument arguments from adjuncts. Although LLMs were more passive than humans in generating instruments from sentence fragments, the semantic features of LLM-generated instruments closely matched those generated by humans. Our results suggest that LLMs are fairly successful in simulating human sentence processing, supporting their use as a pratical tool for predicting human processing behaviors.

한국어

이 논문은 거대언어모델(Large Language Model) 문장처리와 인간 문장처리의 양상을 비교하여, 이 두 유형 간 처리결과의 유사점과 차이점을 심리언어학적 관점에서 고찰해 보는 것을 목표로 한다. 기대 기반의 문장처리 관점에 따르면, 인간 처리자는 주어진 맥락 정보에서 언어적 단서를 적극적으로 추출하여 앞으로 등장할 단어를 확률적으로 예측하고, 이를 문장처리에 즉시 반영한다고 한다. 이런 인간 처리자의 예측 기반의 확률적 행동은 거대언어모델의 작동 원리와 기본적인 측면에서 공유하는 점이 많다. 이 논문에서는 기대 기반의 인간 문장처리와 거대언어모델의 시뮬레이션을 다면적으로 비교하고자 하였다. 이를 위해, 영어 도구 논항을 연구 대상으로 하였고, 도구 명사가 논항(argument)의 위상을 가졌을 때와 부가어(adjunct)로 사용될 때 관찰된 인간 행동의 시뮬레이션을 처리 (processing)와 생성(generation)의 영역에서 시도했다. 거대언어모델은 도구 논항을 결정하 는 동사유형 효과를 성공적으로 모사하였다. 도구 명사를 생성하는 과제에서는 인간보다 도구명사 생성률이 낮아서 소극적 생성이라고 할 수 있었으나, 거대언어모델이 생성한 도구 명사와 인간이 생성한 도구 명사의 의미적 유사성은 낮지 않았다. 이 논문에서 소개된 일련의 언어모델 시뮬레이션은 인간의 행동과 대체로 유사하다고 판단되며, 이 결과는 거대언어모델이 인간 언어처리 행동을 예측하는 도구로 사용될 수 있다는 견해를 지지한다.