earticle

영어

In the recognition of the necessity of a concrete guide for the complementary use of self, peer, and instructor assessments in writing instruction, this study attempted to quantitatively verify the similarities and differences between the three types of assessment by comparing the ratings on single paragraph writing by writer themselves, peers, and instructors. The three groups of raters scored the writing on a 6-point Likert scale, across 12 evaluation criteria in three domains: content, organization, and language expression. The self, peer, and instructor assessment scores were analyzed in terms of score average and correlation. The results revealed that the average scores of self assessment was higher than those of peer assessment and instructor assessment in all comparisons in writing as a whole, three assessment domains and as 12 assessment items. In terms of correlation among the scores of self, peer, and instructor assessments, the three rater groups' average scores on the students' paragraphs were found to correlate with one another, which indicates that in general, the writings that received relatively high scores from the instructors also received high scores from the students. In terms of assessment domains, instructor assessment was correlated with both self assessment and peer assessment in all three domains, whereas self and peer assessments were correlated with each other only in the domain of language expression. In the analysis of the assessment by item, instructor assessments were found to correlate with peer assessments in more items than with self assessment, which suggests that peers are more similar to instructors in their scoring pattern than writer themselves are. Second, there were a few items where significant correlations were found among all three groups' assessments. These items mostly concerned assessing concrete aspects of writing such as orthography and the clarity of sentence meaning. Third, there were items where no correlation was found between any of the three groups' assessments. The items lacking correlations were those concerning the appropriateness at the discourse level. The similarities and differences in terms of the correlations (and lack thereof) of the present study are expected to provide a guideline as to which aspects of instructor assessment could be replaced by student assessment. For example, items where all three assessor groups show high correlation with one another could be rated by writer themselves or their peers. Instead, instructors could focus their feedback more on high level aspects of writing such as discourse appropriateness, while also providing instructional support to enhance the ability to assess these aspects.

한국어

본 연구에서 우리는 글쓰기 교육에서 자기평가, 동료평가, 교수자평가의 상호보완적 활용을 위 한 구체적인 방안이나 가이드의 필요성 인식에서 사고와 표현 수업에서 한 단락 글쓰기로 시행한 자기평가, 동료평가, 교수자평가 세 평가 간의 유사성 및 차이점을 정량적으로 검증하고자 하였 다. 우리는 본 수업에서 100명의 학생이 쓴 한 단락 글쓰기를 내용, 구성, 표현 영역의 총 12항목 글쓰기 평가기준에 따라 글쓴이 자신, 동료 학생, 교수자가 평가한 점수를 분석하였으며 각 점수 를 평균 및 상관관계의 측면에서 비교한 결과 아래와 같은 결과를 얻을 수 있었다. 평가주체별 평점의 평균 비교분석에 따르면, 글 전체에 대한 평가의 평균, 영역별 평균, 항목 별 평균 전반에 걸쳐 자기평가가 동료 및 교수자의 평가에 비해 다소 높은 것으로 나타났다. 글 평점 평균에 있어서 동료는 글쓴이 자신보다 낮은 점수를 주었으며, 영역별 비교에 있어서는 내용 영역에서는 동료가, 구성영역과 표현영역에서는 교수자가 각각 자기평가에 비해 점수를 낮게 준 것으로 나타났다. 항목별로 볼 때는 주로 어휘와 문장 수준에서의 표현력이나 맞춤법 등 표현영 역에 속한 항목들에서 교수자평가가 자기평가에 비해 유의미하게 낮은 것으로 분석되었다. 한편 동료-교수자 간에는 유의미한 차이가 발견되지 않았다. 한편, 상관관계 분석의 측면에서 보자면 우선 글 평균에서 자기평가-동료평가-교수자평가 간 강한 상관관계를 보였다. 이는 글 전체의 평균에 있어 교수자에게 상대적으로 높은 평가를 받는 글이 학생들에게도 높은 평가를 받는다는 것을 의미한다. 그러나 영역별로 보면 교수자 평가는 전 영역에서 자기평가 및 동료평가와 상관관계를 나타낸 반면 자기평가-동료평가 간에는 내용과 구성 영역에서 상관관계가 보이지 않았다. 세부항목별 상관관계를 보면, 우선 교수자 평가는 자기평가보다 동료평가와 더 많은 항목에 걸 쳐 상관관계를 보인 것으로 드러났는데, 이는 자기평가보다 동료평가와 교수자 평가 간 상관관계 가 자기평가와의 상관관계보다 높음을 보여준다. 둘째, 자기-동료-교수자 상호 간 모두 유의미한 상관관계를 보인 항목들이 일부 항목들이 있었는데, 이들은 문장의미의 명확성이나 맞춤법 같은 글의 표면적이고 구체적 성격에 대한 평가 항목이었다. 셋째, 일부 항목에서는 교수자평가와 학생의 평가(동료평가, 자기평가) 간 상관관계가 발견되지 않았는데, 이 항목들은 담화 수준에서의 단 어 및 문체 적절성에 관한 것들이었다. 이와 같은 평가 유사성 및 차이점은 향후 글쓰기 수업에 서 교수자평가를 학생의 평가로 대체해도 무방한 평가 항목을 선정하는 데 도움이 될 것으로 기 대한다. 자기-동료-교수자 3자 간 모두 평가일치도가 높은 것으로 나타난 평가항목에 있어서는 글을 쓴 학생 자신이나 동료 학생으로 하여금 피드백을 직접 할 수 있도록 유도해줄 수 있을 것 이다. 한편 다차원적인 고도의 인지능력을 요하는 담화 차원의 적절성과 관련된 측면의 평가에 있어서는 교수자가 보다 집중적으로 피드백을 해주되, 동시에 학생들에게도 관련 역량을 강화할 수 있는 체계적인 교수법적을 모색할 필요가 있다.