earticle

영어

The purpose of this study was to examine the effects of non-native English speaking raters' English proficiency on their rating results and strategies. The participants were 13 non-native raters and 3 native raters with extensive rating experiences. They rated 30 argumentative essays and 30 chart description essays written by 20 advanced second language writers and 20 native college students. The results of multi-facet Rasch analyses indicated that there was not any significant difference in the severity of ratings between native and non-native raters. Neither were any bais among rating scales, tasks, and student backgrounds. The results of multivariate generalizability analyses showed that the writers proficiency, which is the object of measurement, accounted for the majority of score variances and the reliability of the ratings was very high. The results of multivariate analysis of variance revealed that the two groups of raters produced comparable scores in all the scoring areas. The findings of the study suggest that non-native raters are able to produce comparable rating results as native raters if they receive proper rater training and accumulate rating experiences.

한국어

본 연구의 목적은 채점자 훈련을 받은 비원어민 채점자가 원어민 채점자 수준으로 채점할 수 있는지 알아보는데 있다. 영어를 외국어로 학습하는 우리나라에서는 원어민 채점자 확보가 어렵고 학교 현장에서는 비원어민 영어 교사가 채점을 담당할 수밖에 없기 때문에 비원어민 채점 능력은 수행평가 정착에 결정적인 요소이다. 비원어민 채점자와 원어민 채점자의 채점 결과를 분석한 기존의 연구가 채점자 훈련을 제대로 받지 못한 비원어민 채점자를 대상으로 이루어진 한계를 극복하기 위하여 본 연구에서는 영어 원어민 대학생 10명과 상위 수준의 비원어민 대학생 10명이 작성한 논설문과 그래프 묘사 작문을 채점 경험이 풍부한 12명의 비원어민 채점자와 3명의 원어민 채점자가 채점하였다. 이들의 채점 결과를 다국면 Rasch모형으로 분석한 결과 채점자 사이에 엄격성에 큰 차이가 나지 않았고 편향도 없는 것으로 나나타났다. 다국면 일반화가능도 분석을 실시해 본 결과 채점자간 일치도가 매우 높고 측정 목표가 대부분의 점수 분산을 설명하여 채점 결과의 신뢰도가 매우 높은 것으로 나타났다. 이러한 결과는 비원어민 채점자도 영어 구사력이 높고 채점 훈련을 받으면 원어민 수준의 채점이 가능하다는 점을 보여주는 결과로 볼 수 있다.