earticle

영어

This study compares and analyzes the error correction patterns in the writing of Korean language learners between human correctors and large language models (LLMs). The primary goal is to evaluate the feasibility of utilizing LLMs as automatic Korean error correction tools. The research data comprises 100 writing samples from advanced learners, sourced from the National Institute of Korean Language's Korean Learners Corpus. The correction results were compared sentence by sentence, and cosine similarity was calculated to measure the alignment. The findings indicate an average similarity score of 0.8 between LLM corrections and human corrections, with around 40% of the sentences showing complete agreement. However, notable differences were observed in terms of stylistic consistency, speech levels, passive constructions, grammatical structures, and collocation generation. LLMs exhibited inconsistencies in maintaining style and handling specific grammatical structures in Korean, yet in some cases, they provided more natural collocations. This research holds significance as an evaluation of the current capabilities of LLMs in Korean error correction. Future studies are suggested to expand on learner variables and data to provide deeper insights.

한국어

본 연구는 외국인 한국어 학습자의 작문에서 나타나는 오류를 인간 교 정자와 거대언어모델의 교정 양상을 비교ㆍ분석하였다. 이를 통해 현 재 LLM의 한국어 자동 교정 도구로서의 활용 가능성을 평가하고자 하였다. 연구 자료는 국립국어원의 <한국어학습자말뭉치>에서 수집 된 고급 학습자 작문 100개였으며, 교정 결과는 문장 단위로 비교하여 코사인 유사도를 산출하였다. 분석 결과, LLM의 교정 결과와 인간 교 정자의 교정 결과는 평균 0.8의 유사도를 보였으며, 전체 문장의 약 40%는 완전히 일치하였다. 그러나 문체와 화계, 피동 구문, 문법 구조, 연어 생성 등에서 차이가 나타났다. LLM은 문체를 일관되게 하지 못 하거나, 한국어의 특정 문법 구조를 올바르게 처리하지 못하는 경향을 보였으나, 연어 생성에서는 상대적으로 더 자연스러운 표현을 제공하 는 경우도 있었다. 본 연구는 LLM의 한국어 교정 능력에 대한 연구로 서 의의가 있으며 향후 연구에서는 다양한 학습자 변인과 데이터의 확 장을 통한 심층 분석을 제언한다.