초록 열기/닫기 버튼
The purpose of this study is to analyze the change of Korean language teacher's scoring consistence. For that, the data from 19 Korean language teacher's scoring analyzed using Rasch Measurement Model. The findings are these. First, the rater's consistence changed by the increase in number of scoring text. It shows that extraction of the rater consistence by single-session analysis is inappropriate. Second, the rating consistence is seriously affected by these facts; whether the raters internalize the assessment criteria or not, whether the raters reformulate the assessment criteria or not, the experience of scoring narrative text, the accurate application of scoring scales, the degree of understanding assessment areas, the subjective preference for the contents of text and scoring narrative text. Our conclusion could be stated thus: the researcher of writing assessment need to look more closely at this rater consistency and results of this study leave more to be investigated and answered about the rater consistence enhancement in the same way as rater training program.
이 연구는 국어교사의 쓰기 채점 일관성 변화를 분석하는 데 목적이 있다. 이를 위하여 국어교사 19명의 서사문 채점 결과를 다국면 Rasch 모형을 활용하여 분석하였다. 그 분석 결과는 다음과 같다. 첫째, 채점 분량이 증가함에 따라 채점 일관성이 변화하는 경향을 발견하였다. 이는 글 전체에 대한 채점 일관성을 일회적으로 분석하여 채점자 특성을 도출하는 것이 적절하지 않다는 것을 보여준다. 둘째, 채점 기준의 내면화 여부, 채점 기준 재설정 여부, 서사문 채점 경험, 채점 척도의 올바른 활용, 채점 하위 요소에 대한 이해 정도, 서사문 내용에 대한 주관적 선호도, 서사문 채점에 대한 주관적 선호도 등에 따라서 채점 일관성이 영향을 받는 것으로 나타났다. 그동안 쓰기 평가에서는 채점자 간 일치도를 높이는 것이 쓰기 평가의 신뢰도를 높이는 최선의 방안으로 여겨졌으나, 이제는 쓰기 평가에서 채점 일관성을 확보하는 것 또한 중요하게 고려되어야 한다. 또한 채점자 훈련과 같은 방법으로 채점자 일관성을 향상시키기 위한 보다 활발한 논의가 요구된다.
키워드열기/닫기 버튼
쓰기 평가, 채점 일관성, Rasch 모형, FACETS 프로그램
