초록 열기/닫기 버튼
이 연구는 키워드 채점 방식이 쓰기 평가에서 수험생의 수준을 변별할 수 있는지를 밝힘으로써, 그 타당성을 분석하고자 하였다. 인간 평가자의 채점을 통해 구분된 상위 집단과 하위 집단의 글에서 t-점수를 이용하여 키워드를 산출한 결과, 두 집단의 키워드에서 나타나는 양상이 매우 다른 것으로 나타나 키워드가 집단을 변별할 수 있는 요소로 작용함을 확인하였다. 연구 결과 상위 집단의 키워드는 보다 심층적인 화제 분석과 다양한 논지 전개 방식을 활용하는 것으로 나타나는 단어들을 사용하였으며, 논의 과정에서 사안에 대한 다양한 관점을 다루면서 객관적으로 서술하였다. 또한 조직에 있어서도 인과 관계를 나타내는 단어를 사용함으로써 보다 응집성 있는 글을 전개하였으며, 단어 선택에서 공식적이며 중립적인 의미를 가지는 단어들을 주로 사용하는 것으로 나타났다. 반면, 하위 집단은 자신의 경험이나 언론 상에서 자주 노출되는 자극적인 사건들을 중심으로 예시를 많이 사용하였으며, 감정 관련어를 사용하여 글의 객관성을 저해하였다. 또한 과제 지시문의 진술을 그대로 가져와 재진술하는 경향이 나타났으며, 단어 선택에서는 필자 중심적인 단어를 선택하여 구어체적이고, 비공식적이며, 편향적인 단어들이 주로 사용되었다. 이는 키워드가 두 집단 간에 서로 다르게 추출되었음을 의미하며, 또한 그 키워드가 서로 다른 경향성을 가짐으로써 집단을 변별하는 데 있어 키워드가 유효하였음을 확인하였다는 데 의의가 있다.
The purpose of this study was to investigate the validity on keyword matching scoring methods. In keyword extraction results, vocabulary differed according to a variety of writing performance of group classified from holistic rating results by human raters. Such are suggested that keyword matching scoring methods are valid to distinction of writing performance. As a result, high-level group keywords are deeper insight of topic and used to various ways of development in discussion. They also mainly used to vocabulary indicated the causal nexus in organization, formal and non-biased vocabulary in word selection. On the other side, low-level group keywords are mainly used to enumerate bits of examples way of development in discussion, emotional vocabulary which disrupt objectivity in the text. In addition, they are used to writer-centrism vocabulary which have colloquial, informal, biased traits. These result indicated that extract distinguished keywords between high-level and low-level group. Therefore, keyword scoring methods have validity in writing assessment system.
키워드열기/닫기 버튼
Keyword, Writing Assessment, Assessment Methods, Automatic Keyword Extraction, Rater, Rater Reliability, Automatic Scoring System, writer-centric writing, audience-centric writing
