초록 열기/닫기 버튼
본 연구에서는 ChatGPT를 활용하여 서･논술형 평가문항의 채점 가능성을 탐색하기 위해 교사와 ChatGPT의 채점 결과를 비교, 분석하였다. 이를 위하여 세계지리 기후 단원의 서･논술형 평가문항과 평가기준을 개발하고, 15년 이상 교육경력의 지리교사 3명이 2차에 걸쳐 채점을 실시하였다. 그리고 ChatGPT는 평가기준만 제시한 경우, 평가기준･예시답안만 제시한 경우, 평가기준･예시답안･비판적으로 채점 명령을 제시한 경우로 나누어 채점을 실시하고 그 결과를 비교, 분석하였다. 비교적 정확한 정답이있는 1번 문항은 평가기준･예시답안･비판적으로 채점 명령을 제시한 경우, 그리고 평가기준･예시답안을 제시한 경우에 교사의채점 결과와 높은 상관관계를 보였으며, 이는 서･논술형 평가의 채점에서 교사 간 신뢰도 기준(상관관계 .6 이상)을 충족한 것으로판단된다. 하지만 채점자의 주관이 많이 개입될 수 있는 2번 문항은 평가기준･예시답안･비판적으로 채점 명령을 제시한 경우, 논술형 평가의 채점에서 요구하는 교사 간 신뢰도 기준에 미치지 못하였다. 하지만 ChatGPT의 채점 결과는 2번 문항에 대한지리 교사 간 상관관계와 유사한 값이 나왔다. ChatGPT를 활용하여 서･논술형 평가 문항을 채점할 경우, 평가기준･예시답안･비판적으로 채점 명령, 또는 평가기준･예시답안을 제시하는 프롬프트를 활용하면 보조 교사로서 채점자의 역할을 수행할 수 있다.
In this study, we compared and analyzed the scoring results of teachers and ChatGPT to explore the feasibility of using ChatGPT-4 for scoring written tests. For this study, we developed written test questions and scoring criteria based on the World Geographic Climate Unit. Three geography teachers with over 15 years of educational experience scored the questions twice. Additionally, ChatGPT performed scoring under different conditions: presenting only the rubric, presenting the rubric and example answers, and presenting the rubric, example answers, and critical scoring instructions. We then compared and analyzed the results. Question 1, which had a relatively accurate correct answer, exhibited a high correlation with the teachers’ scoring results when the rubric, example answer, and critical scoring instructions were provided. This correlation is believed to meet the criteria for intra-scorer reliability (a correlation of 0.6 or higher) for written tests. However, Question 2, whose scoring can be very subjective, did not meet the reliability criteria for intra-scorer reliability in the scoring involving the rubric, example answer, and critical scoring instructions. Nonetheless, a correlation value similar to that obtained by three teachers for Question 2 was found. When scoring written tests using ChatGPT, it can function as an assistant teacher by presenting prompts with rubrics, example answers, critical scoring instructions, or rubrics and example answers.
키워드열기/닫기 버튼
World geography, Written tests, Scoring by ChatGPT, Intra-scorer reliability
