earticle

영어

The purpose of this study is to analyze the test items of the nationally authorized CSTS private qualification that tests SW testing ability. A total of 480 items were analyzed among the test items that a total of 1,556 people took 8 times over two years from 2020. Item difficulty, discrimination, and guessing were estimated by applying classical test theory and item response theory, First result of the research, the consistency of difficulty was not maintained in the scores obtained between years and between sessions. Second, as a result of estimating the item difficulty, it was composed of easy items overall, but the year 2020 showed a higher difficulty. Also, some items had an item difficulty index contrary to the difficulty assigned to the item. Third, as a result of estimating the item discrimination, it was confirmed that there were some items with low item discrimination, and in the case of items with low difficulty, the proportion of items with low discrimination was the smallest. Fourth, as a result of estimating the item guessing, some high-guessing items were classified, and when examined based on the difficulty assigned to the item, the two test theories showed opposite differences. Based on the results, items with the opposite difficulty, low item discrimination, and high guessing items should be reviewed and improved through the participation of subject matter experts.

한국어

본 연구는 SW 테스팅 능력을 검정하는 국가공인 CSTS 일반등급 민간자격의 검정문항을 분석하는 것이다. 이를 위해, 2020년부터 2021년까지 2년 동안 8회에 걸쳐 총 1,556명이 응시한 검정문항 중 4지선다형과 진 위형 총 480문항을 분석대상으로 하였다. 분석은 고전검사이론과 문항반응이론을 적용하여 난이도, 변별도와 추측도를 추정하였으며, 연도 간 비교와 문항에 부여된 난이도를 바탕으로 분류하여 분석한 주요결과는 다음과 같다. 첫째, 연도와 일부 검정회차 간 취득점수의 차이가 존재하여 검정난이도의 일관성이 부분적으로 유지되 지 못하고 있는 것으로 나타났다. 둘째, 문항난이도를 추정한 결과 CSTS 일반등급 자격은 전반적으로 쉬운 문 항으로 구성되어 있는 것으로 나타났다. 다만, 일부 문항은 문항에 부여된 난이도와 상반되는 난이도 지수가 추정되고 있어 개선이 필요함을 확인하였다. 셋째, 문항변별도를 추정한 결과 낮은 변별력을 보이는 문항들이 일부 존재함을 확인하였으며, 문항에 부여된 난이도가 낮은 경우 변별도가 낮은 문항의 비율이 적은 것으로 나 타났다. 넷째, 문항추측도를 추정한 결과 기준 이상의 추측도를 보이는 문항이 분류되었으며, 문항에 부여된 난 이도를 기준으로 하였을 때 두 검사이론 간 상반되는 차이를 나타냈다. 연구결과를 바탕으로 문항에 부여된 난 이도와 상반되는 문항난이도 지수가 추정된 문항과 낮은 문항변별도 지수를 나타낸 문항, 그리고 높은 추측도 지수를 나타낸 문항에 대하여 우선적인 난이도의 조정, 내용전문가 참여를 통한 문항 내용의 검토와 개선이 필 요하며, 자격제도 관리․운영 절차에 검사이론을 바탕으로 하는 문항과 검사에 대한 분석과 개선의 과정이 내재 화되어야 함을 제언하였다.