earticle

영어

The purpose of this study is development of ‘the criteria for selection’ for make up open-ended type test questions operated by item pool method for national technical qualification in Korea. In order to develop the criteria for selection from item pool, the examinee’s response characteristics of a subject analyzed by using statistical method. This subject was selected by some specific options, which are the number of people and frequencies of test. The item analysis of this subject was carried out using last two years regular test data. Although there are many different factors that affect average score of examinees, in this case, five factors - item types, item difficulties, item categories, the ratio of questions from previous test, question making standard- were chosen for reviewing the interrelationship between average score and each factors. Through the conclusions of analysis of variance, the new criteria draft was reached. The derived new criteria draft in this study was applied to the regular test on 2015. Based on the results, the test item management mechanism considering examinee’s response characteristics was suggested.

한국어

본 연구는 문제은행방식으로 운영되고 있는 국가기술자격 필답형 실기시험문제의 문제추출 을 위한 선정기준에 통계분석법을 활용하여 종목별 특성을 반영하고자 진행하였다. 이를 위해 수험인원 및 시행횟수가 많은 한 종목을 대상으로 선정, 최근 합격률 추세와 수험자 평균점수 데이터를 분석하여 적정 수준의 평균점수 및 합격률을 설정하였다. 또 최근 2년간 시행한 문 항에 대하여 문항별 수험자 평균득점에 영향을 미치는 요인을 다섯 가지 - 문항의 유형, 난이 도, 형태, 재출제, 출제기준항 - 로 지정하고, 요인별 평균득점간 유의성을 분산분석법으로 검 증하였으며, 선정된 주요인의 양적 조정을 통하여 해당 종목에 최적화된 선정기준안을 도출하 였다. 도출된 선정기준안은 2015년도 정기 실기시험에 적용ᆞ교부하여 목표평균점수와 실제 수험자 평균득점간 일치성을 검증하였으며, 본 연구 결과를 바탕으로 필답형 실기시험으로 시 행되는 국가기술자격의 종목별 특성을 반영한 문항관리기법을 제시하였다.