초록 열기/닫기 버튼
이 연구의 목적은 국어교사의 쓰기평가 일관성 유형에 따라 채점-재채점 신뢰도를 분석하는 데 있다. 이를 위해 국어교사 36명을 대상으로 학생 글 20편에 대해 채점-재채점을 실시하였으며, 다국면 Rasch 분석 결과에 따라 일관성의 유형을 기준으로 평가자를 집단별로 범주화하였다. 그 결과 평가자의 일관성이 적합한 경우는 25.00%였으며, 한 번만 적합한 것으로 나타난 경우는 52.78%, 채점-재채점 모두 과적합이나 부적합인 경우는 22.22%로 나타났다. 일관성 유형에 따른 채점-재채점의 신뢰도를 분석한 결과 일관성이 적합한 경우에는 채점-재채점 신뢰도가 높게 나타나는 경향을 보였다. 또한 과적합일 때 채점-재채점의 신뢰도가 높게 나타나는 경우가 있었으나 이 경우에는 채점과 재채점 간의 엄격성이 상이하여 평균 차이가 크게 나타났다. 마지막으로 부적합인 경우에는 채점-재채점의 신뢰도가 가장 낮게 나타났다. 이는 평가자에 따라 평가 결과가 상이할 수 있음을 보여 주는 것으로, 쓰기평가의 신뢰도를 확보하기 위한 다양한 방안이 모색되어야 함을 시사한다.
The purpose of this study is to analyze the reliability of raters based on the results of the writing assessment scoring-rescoring of Korean language teachers. For this purpose, 36 Korean language teachers scored and re-scored 20 students’ writings, and they were categorized into groups based on the type of consistency according to the results of the multi-faceted Rasch analysis. As a result, 25.00% of raters showed consistency in both scoring and rescoring and 52.78% of raters showed consistency only once. In addition, 22.22% of the raters were found to have failed to maintain consistency. Looking at the reliability of scoring and rescoring, the scoring-rescoring reliability tends to be high when consistency is suitable. In case of over-fitting, the reliability of scoring and rescoring was high, but the mean difference was significant because of the difference of the severity in scoring and rescoring. In case of mis-fitting, the reliability of scoring-rescoring was the lowest. This suggests that various measures should be sought to ensure the reliability of the writing assessment.
키워드열기/닫기 버튼
Korean language teachers, writing assessment, rater consistency, scoring-rescoring reliability, many-facet Rasch measurement
