earticle

영어

The ultimate goal in writing assessment, indeed in educational measurement in general, is to make sure that students are fairly evaluated, and that their scores do not depend on extraneous variables such as the raters who grade them. There has been surprisingly little empirical work on the influence of rater background variables on the evaluation of student writing. Therefore, this study investigated the differences in the evaluation of student writing by raters with various backgrounds such as different levels of teaching experience, different years of teaching experience, different years of rating experience, and the experience of teaching intervention classes using the real data. Results of this study clearly indicate that there were negligible effects from rater background and experience on the evaluation of student writing, which suggests attention to training and monitoring raters' performance.

한국어

서술형 평가를 포함한 일반적인 교육평가의 궁극적인 목표는 학생들이 공정하게 평가받고 학생들의 성적이 채점자 등 외부적인 변인에 의해 영향 받지 않도록 하는 것이다. 하지만 채점자의 배경 변인이 학생들의 논술 채점에 미치는 영향에 대한 경험적인 연구는 극히 드물다. 그러므로 본 연구는 실제 데이터를 이용하여 수준별 수업의 경험, 교육 경력, 채점 경력, 그리고 인터벤션 클래스(intervention class) 경험과 같은 교사인 채점자들의 다양한 배경변인이 학생들의 논술 채점에 미치는 영향을 살펴보았다. 연구의 결과는 본 연구에서 고려한 채점자의 배경변인이 학생의 논술 평가에 있어서 미치는 영향은 아주 적음을 보여주었다. 이와 같은 결과는 채점자 선정에 있어서 특정한 채점자 배경 변인에만 한정시켜 채점자의 신뢰성을 논하기보다는 채점자 훈련과 모니터링(monitoring) 과정의 질적 향상을 통해 더 나은 논술 시험 평가의 공정성을 확보해야함을 시사한다.